Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

Digital eksamen Fra behov til gjennomføring Per Grøttum Seksjon for medisinsk informatikk.

Liknende presentasjoner


Presentasjon om: "Digital eksamen Fra behov til gjennomføring Per Grøttum Seksjon for medisinsk informatikk."— Utskrift av presentasjonen:

1 Digital eksamen Fra behov til gjennomføring Per Grøttum Seksjon for medisinsk informatikk

2 1.Hva var galt med den gamle eksamenen? 2.Digital skriftlig eksamen - utforming. 3.Kvalitetssikring I. 4.Sensur. 5.Kvalitetssikring II. 6.Framtid. Disposisjon

3 Hva var galt med den gamle eksamenen? Ekstern evaluering av medisinstudiet ved Det medisinske fakultet, Universitetet i Oslo. Knut Aspegren Kjartan Koi Torstein Vik København, Oslo, Trondheim

4 5. semester skriftlig eksamen Vår 2007 Høst 2007

5 5. semester skriftlig eksamen Vår 2007 Høst 2007 =3% =0%

6 5. semester skriftlig eksamen Vår 2007 Høst 2007 =50% =25%

7 5. semester skriftlig eksamen Vår 2007 Høst 2007 =50% =35%

8 Funn og anbefalinger Lav reliabilitet på sensur (stor variasjon mellom sensorer) Mer presise spørsmål og sensurveiledning Evalueringsskjema med poengskala (”rating scale”) for muntlige prøver Lav content validity (mangefull dekning av læringsmål) Større antall spørsmål Lav sampling validity (ujevn tematisk fordeling) “Blueprinting” (mal) av temafordeling Overvekt av faktaspørsmål Forskyve spørsmålene mot høyere nivå i Blooms taksonomi ved kombinasjon av ”ferdigsvar” (... eks multiple choice...) og ”konstruerte svar” (... eks. case based short answer...)

9 Fakultetets reaksjon – nye eksamensformer OSCE (Objective Structured Clinical Examination) Digital skriftlig eksamen MiniCEX

10 Digital eksamen

11 Nivåinndeling av kognitive ferdigheter Blooms taksonomi Klinisk problemløsing og beslutningstaking

12 Klinisk beslutningstaking = beslutningstre = sekvensielle oppgaver Opplysninger Spørsmål Opplysninger Spørsmål Opplysninger Spørsmål Opplysninger Spørsmål == Følgefeil!

13 Opplysninger Spørsmål Opplysninger Spørsmål Fasit Klinisk beslutningstaking = beslutningstre = sekvensielle oppgaver

14 I praksis ser det slik ut: 1 nivå i treet = 1 deloppgave = 1 innlevering akkumulert sykehistorie fasit og nye opplysninger miniessay spørsmål multiple response spørsmål multiple choice spørsmål

15 Typisk eksamenssett oppgaver hver oppgave har 2 – 8 deler hver del har 1 – 15 spørsmål i alt ca 100 spørsmål på 4 timer

16 Praktisk gjennomføring av digital eksamen Web-basert eksamen 200 dedikerte bærbare maskiner med minimert Windows OS Dedikert a trådløst eksamensnett i flere lesesaler Implementert i snaut 50% av medisinstudiet, mer underveis Gjennomført >20 digitale eksamener siste 1,5 år

17 Kvalitetssikring I

18 Kvalitetssikring - medisinsk Kollegaer Eksamenskommisjon Forfatterteam Seniorstudenter...

19 Digital sensur

20 Etter eksamen Under eksamen - simultan sensurering ved OSCE-eksamen Til dels svært komplisert fordeling av spørsmål og oppgaver på sensorene

21 Digital sensur På web Flervalgssvar rettes automatisk Essaysvar rettes manuelt

22 Sensur – online, real-time Simultan digital sensur på avsluttende eksamen i medisin Kontinuerlig monitorering av resultatene under eksamen

23 Kvalitetssikring II

24 Psykometriske analyser Inter-rater analyse Bias Marginal homogenitet Konkordans (Cohen’s kappa) Item analyse - klassisk test teori Item facility Item discrimination Reliabilitet (Cronbach’s alfa) Nøkkel til eksamenskvalitet Etterhvert dokumentasjonskrav?

25 Framtid

26 Automatisert håndtering av oppgaveoversettelser xliff UiOTranslatør

27 OSCE – Objective Structured Clinical Examination Observational assessment iPad

28 Innsynsbegrensning – gjenbruk av oppgaver Oppgaver som skal gjenbrukes, kan unntas offentliggjøring Retten til innsyn i besvarelser må opprettholdes, men innsyn kan skje i kontrollerte former Konsekvens: Oppgaver kan gjenbrukes og kvaliteten kan kontinuerlig forbedres gjennom psykometriske analyser.

29 Deling av oppgaver ’ nasjonale prøver? Medfak > 200 sammensatte oppgaver > 5000 multiple choice spørsmål

30 Forskningsamarbeid under ansettelse 2 Postdoc Medfak


Laste ned ppt "Digital eksamen Fra behov til gjennomføring Per Grøttum Seksjon for medisinsk informatikk."

Liknende presentasjoner


Annonser fra Google