Laste ned presentasjonen
Presentasjon lastes. Vennligst vent
1
Digital eksamen Fra behov til gjennomføring
Seksjon for medisinsk informatikk Per Grøttum
2
Hva var galt med den gamle eksamenen?
Disposisjon Hva var galt med den gamle eksamenen? Digital skriftlig eksamen - utforming. Kvalitetssikring I. Sensur. Kvalitetssikring II. Framtid.
3
København, Oslo, Trondheim. 12.05. 2008
Hva var galt med den gamle eksamenen? Ekstern evaluering av medisinstudiet ved Det medisinske fakultet, Universitetet i Oslo. Knut Aspegren Kjartan Koi Torstein Vik København, Oslo, Trondheim
4
5. semester skriftlig eksamen
Vår 2007 Høst 2007
5
5. semester skriftlig eksamen
=3% Vår 2007 =0% Høst 2007
6
5. semester skriftlig eksamen
Vår 2007 =50% Høst 2007 =25%
7
5. semester skriftlig eksamen
Vår 2007 =35% Høst 2007 =50%
8
Funn og anbefalinger Lav reliabilitet på sensur (stor variasjon mellom sensorer) Mer presise spørsmål og sensurveiledning Evalueringsskjema med poengskala (”rating scale”) for muntlige prøver Lav content validity (mangefull dekning av læringsmål) Større antall spørsmål Lav sampling validity (ujevn tematisk fordeling) “Blueprinting” (mal) av temafordeling Overvekt av faktaspørsmål Forskyve spørsmålene mot høyere nivå i Blooms taksonomi ved kombinasjon av ”ferdigsvar” (... eks multiple choice ...) og ”konstruerte svar” (... eks. case based short answer...)
9
Fakultetets reaksjon – nye eksamensformer
OSCE (Objective Structured Clinical Examination) Digital skriftlig eksamen MiniCEX
10
Digital eksamen
11
Nivåinndeling av kognitive ferdigheter
Blooms taksonomi Klinisk problemløsing og beslutningstaking
12
Klinisk beslutningstaking = beslutningstre = sekvensielle oppgaver
Opplysninger Spørsmål Opplysninger Spørsmål = Følgefeil! Følgefeil!
13
Klinisk beslutningstaking = beslutningstre = sekvensielle oppgaver
Opplysninger Spørsmål Fasit Opplysninger Spørsmål Fasit Fasit
14
I praksis ser det slik ut:
1 nivå i treet = 1 deloppgave = 1 innlevering akkumulert sykehistorie fasit og nye opplysninger miniessay spørsmål multiple response spørsmål multiple choice spørsmål
15
Typisk eksamenssett oppgaver hver oppgave har 2 – 8 deler hver del har 1 – 15 spørsmål i alt ca 100 spørsmål på 4 timer
16
Praktisk gjennomføring av digital eksamen
Web-basert eksamen 200 dedikerte bærbare maskiner med minimert Windows OS Dedikert a trådløst eksamensnett i flere lesesaler Implementert i snaut 50% av medisinstudiet, mer underveis Gjennomført >20 digitale eksamener siste 1,5 år
17
Kvalitetssikring I
18
Kvalitetssikring - medisinsk
... Forfatterteam Eksamenskommisjon Kollegaer Seniorstudenter
19
Digital sensur
20
Digital sensur Etter eksamen Under eksamen - simultan sensurering ved OSCE-eksamen Til dels svært komplisert fordeling av spørsmål og oppgaver på sensorene
21
Digital sensur På web Flervalgssvar rettes automatisk Essaysvar rettes manuelt
22
Sensur – online, real-time
Simultan digital sensur på avsluttende eksamen i medisin Kontinuerlig monitorering av resultatene under eksamen
23
Kvalitetssikring II
24
Psykometriske analyser
Nøkkel til eksamenskvalitet Etterhvert dokumentasjonskrav? Inter-rater analyse Bias Marginal homogenitet Konkordans (Cohen’s kappa) Item analyse - klassisk test teori Item facility Item discrimination Reliabilitet (Cronbach’s alfa)
25
Framtid
26
Automatisert håndtering av oppgaveoversettelser
UiO Translatør xliff
27
OSCE – Objective Structured Clinical Examination
Observational assessment iPad
28
Innsynsbegrensning – gjenbruk av oppgaver
Oppgaver som skal gjenbrukes, kan unntas offentliggjøring Retten til innsyn i besvarelser må opprettholdes, men innsyn kan skje i kontrollerte former Konsekvens: Oppgaver kan gjenbrukes og kvaliteten kan kontinuerlig forbedres gjennom psykometriske analyser.
29
Medfak Deling av oppgaver ’ nasjonale prøver?
> 5000 multiple choice spørsmål Medfak > 200 sammensatte oppgaver
30
Forskningsamarbeid under ansettelse 2 Postdoc Medfak
Liknende presentasjoner
© 2024 SlidePlayer.no Inc.
All rights reserved.