Flervalgoppgaver (FVO) ved DMF Tidligere kalt ”Multiple Choice Questions” (MCQ) Orientering om bruk av FVO og eksamen Bjørn Hilt ISM

Bakgrunn: Fakultetet har vedtatt at flervalgsspørsmål skal innføres som en del av den skriftlige vurderingen av studentene i stadium I og stadium II fra og med vår-eksamen 2005 og for stadium III fra og med 2009.

Hensikt: Bedre reliabilitet og bredere vurdering av studentenes teoretiske kunnskaper og forståelse.

Krav til spørsmål I MCQ type A m/ Vignett, spørsmål, svaralternativer (3-5) (hovedregel) Kun ett rett svar på hvert spørsmål Beste (riktigste) svaralternativ gir poeng

Krav til spørsmål II (eksamensoppgave) 40 % K1, vesentlig ”recall” 60% K2, Resonnement …. Spørsmål i forhold til læringsmål 1/3 tidligere terminer, 2/3 aktuell termin.

Til eksamen er det 120 (ev 100) flervalgsspørsmål som skal besvares på ca 3 timer (Hele eksamen er 6 timer). ( Prøveeksamen 40 spørsmål på 1 time)

Rett svar gir 0,5 (0,6) poeng på hvert spørsmål FVO gir maksimalt 60 poeng av 100 oppnåelige. Grensen for å bestå eksamen er totalt 65 poeng

Mal for FVO Dette er hvordan oppgavene helst bør være og stort sett ingen absoluttet krav

Vignetten: Vignetten skal inneholde en kortere eller lengre innledning til spørsmålet. Dersom vignetten er et pasientkasus, skal den inneholde beskrivelse av pasientens kjønn og alder, settingen hvor problemet finner sted (sykehus/ allmennpraksis /i ’åpent lende’). Når det er relevant bør den også inneholde opplysninger om vitale tegn som respirasjonsfrekvens, puls, blodtrykk og kroppstemperatur, og den kan gjerne gi resultat av supplerende undersøkelser. I tilfelle det angis laboratorieprøver skal det oppgis referanseverdier.

Spørsmålet: Spørsmålet som etterfølger vignetten skal være formulert som en fullstendig setning (spørsmål). Det skal ikke være en setning som skal fullføres. Det skal ikke være av typene: Hvilke av følgende alternativer gjelder ikke? eller: Alle alternativene nedenfor er korrekt unntatt.

Svaralternativer: Det skal være 4 til 5 svaralternativer, hvorav et alternativ skal være det beste (riktigste). Man kan også på enkeltspørsmål gå ned til 3 alternativer. Alternativene må være i samme kontekst (dvs at man f. eks ikke bør blande behandlingsalternativ med utredningsalternativ), de må ha samme grammatikalske oppbygning, og de må være noenlunde like lange. Alternativene skal heller ikke være av typen ’ingen av alternativene foran’ (f. eks a til d) eller ’alle alternativene foran’ er rett.

En 45 år gammel, tidligere frisk mann, får uten forvarsel sterke brystsmerter og blir innlagt på sykehus med akutt hjerteinfarkt. Det blir påvist en tett koronararterie, og ut i fra EKG blir hjerteinfarktet lokalisert til nedre vegg i venstre ventrikkel. Hva er den mest sannsynlige årsaken til hjerteinfarkt hos denne mannen? AAkutt oppstått blødning i veggen av koronararterie BNedslag av kalk med tilstopping av koronararterie x CTrombe med tilstopping av koronararterie DInfeksjon med tilstopping av koronararterie

Teksten til oppgavene nr. 1 og nr. 2. En 45 år gammel, tidligere frisk mann, får uten forvarsel sterke brystsmerter og blir innlagt på sykehus med akutt hjerteinfarkt. Det blir påvist en tett koronararterie, og ut i fra EKG blir hjerteinfarktet lokalisert til nedre vegg i venstre ventrikkel. Oppgave 2 Hvilken koronararterie er mest sannsynlig tilstoppet (okkludert) hos denne pasienten? AVenstre koronararterie i hovedstammen x BHøyre koronararterie CSeptalgrein fra venstre koronararterie DArteria descendens fra venstre koronararterie

Oppgave 23 Hva kalles modne bruskceller? xAKondrocytter (chondrocytter) BKondroklaster (chondroclaster) CKondroblaster (chondroblaster) DOsteocytter EOsteoklaster FOsteoblaster

Teksten til oppgavene nr. 1 og nr. 2. En 45 år gammel, tidligere frisk mann, får uten forvarsel sterke brystsmerter og blir innlagt på sykehus med akutt hjerteinfarkt. Det blir påvist en tett koronararterie, og ut i fra EKG blir hjerteinfarktet lokalisert til nedre vegg i venstre ventrikkel. Oppgave 1 Hva er den mest sannsynlige årsaken til hjerteinfarkt hos denne mannen? A Akutt oppstått blødning i veggen av koronararterie BNedslag av kalk med tilstopping av koronararterie x CTrombe med tilstopping av koronararterie DInfeksjon med tilstopping av koronararterie En oppgave skal bestå tildekkingstesten

Teksten til oppgavene nr. 1 og nr. 2. En 45 år gammel, tidligere frisk mann, får uten forvarsel sterke brystsmerter og blir innlagt på sykehus med akutt hjerteinfarkt. Det blir påvist en tett koronararterie, og ut i fra EKG blir hjerteinfarktet lokalisert til nedre vegg i venstre ventrikkel. Oppgave 1 Hva er den mest sannsynlige årsaken til hjerteinfarkt hos denne mannen? A Akutt oppstått blødning i veggen av koronararterie BNedslag av kalk med tilstopping av koronararterie x CTrombe med tilstopping av koronararterie DInfeksjon med tilstopping av koronararterie Når man dekker til svaralternativene skal det være mulig å besvare spørsmålet likevel Tildekningstesten trinn 1

Teksten til oppgavene nr. 1 og nr. 2. En 45 år gammel, tidligere frisk mann, får uten forvarsel sterke brystsmerter og blir innlagt på sykehus med akutt hjerteinfarkt. Det blir påvist en tett koronararterie, og ut i fra EKG blir hjerteinfarktet lokalisert til nedre vegg i venstre ventrikkel. Oppgave 1 Hva er den mest sannsynlige årsaken til hjerteinfarkt hos denne mannen? AAkutt oppstått blødning i veggen av koronararterie BNedslag av kalk med tilstopping av koronararterie x CTrombe med tilstopping av koronararterie DInfeksjon med tilstopping av koronararterie Når man dekker til vignetten skal det ikke være mulig å besvare spørsmålet Tildekningstesten trinn 2

HUSK Å disponere tiden Å svare på eget svarark Å skrive studentnummeret ditt på alle svarark Å levere alle svarark ”facit” legges ut på innsida samme dag

Hvem lager de beste flervalgsspørsmålene?

= Studentene selvfølgelig

Derfor har eksamenskommisjonen for 1A/B bestemt at vi skal be dere om å lage spørsmål til årets eksamen

Forutsetninger for studentspørsmål Hvert spørsmål må være knyttet til et læringsmål og rett svaralternativ må oppgis Spørsmålene må godkjennes av eksamenskommisjonen Vi bruker inntil 10% av de godkjente spørsmålene dere har laget, men maksimalt ved hver eksamen. Det kommer egen anmodning på placebolista om å lage spørsmål (med rettledning) Frist for innlevering blir Spørsmål sendes til (gjerne

Kvaliteten på FVO-oppgavene?

Ved utarbeidelse av oppgavene En god FVO-eksamen er karakterisert av at den… –tester relevant/ vesentlig kunnskap –tester evne til å (1) analysere og anvende kunnskap (K2), mer enn bare (2) forståelse og (3) memorering (K1) –følger malen for FVO (Ingress, klart spørsmål, 4 til 5 svaralternativ – ett rett svar, består ”hand cover”- testen). –ikke inneholder form- eller formuleringsfeil (”item writing flaws”) –tester bredt (alle fagområder – representativ fordeling)

Kvaliteten på enkeltspørsmål. Den enkelte oppgaveforfatter: Hvordan ”fungerte” mitt spørsmål Et godt spørsmål er karakterisert av at … –Det har en vanskelighetsgrad mellom 0.40 og 0.80 (det vil si at mellom 40 og 80 % av kandidatene klarte oppgaven) –Den skiller mellom ”flinke” og mindre ”flinke” studenter (diskriminerende evne basert på differensen i totalskår på spørsmålet mellom høyeste og laveste kvartil av stud) –Alle svaralternativene (distraktorene) har blitt krysset av minst en student

Diskriminerende evne: Andel rette fra øvre kvartil studenter: 85 % - Andel rette fra nedre kvartil studenter:40 % = Diskriminerende evne:45 %

Kvaliteten på eksamen. Eksamenskommisjonen: Hvordan ”fungerte” eksamen? En god eksamen er karakterisert av at … –Gjennomsnittskåren for hele kullet er ca 75% –Den interne reliabiliteten er > 0.80 (se forklaring på intern reliabilitet på neste slide) I tillegg: –> 50% av oppgavene er K2 (vanskelig for I A/B) –Hvor mange spørsmål var for lette? –Hvor mange spørsmål skilte ikke mellom de flinkeste og de minst flinke ? –I hvor mange spørsmål ble alle svaralternativ brukt?

A high reliability coefficient is no guarantee that the assessment is well-suited to the outcome. It does tell you if the items in the assessment are strongly or weakly related with regard to student performance. If all the items are variations of the same skill or knowledge base, the reliability estimate for internal consistency should be high. If multiple outcomes are measured in one assessment, the reliability estimate may be lower. That does not mean the test is suspect. It probably means that the domains of knowledge or skills assessed are somewhat diverse and a student who knows the content of one outcome may not be as proficient relative to another outcome.

Gjennomsnittsskåren for hele kullet78,973,571 Den interne reliabiliteten er ≥ 0,80 (KR 20) 0,780,830,82 Over halvparten av oppgavene er K2 25 %36 %35 % Ikke for mange spørsmål med vanskelighetsgrad >90 31 %20 %23 % Diskriminerende evne >0,2 (0,15)37 %56 %42 % Alle svaralternativene brukt68 %75 %80 % En ”god” FVO eksamen

Prøveeksamen mandag kl Første bokstav i etternavn til og med ”m” Skal være i LA21, Resten i MTS21 og MTA Fasit tilgjengelig rett etter eksamen