Flervalgsoppgaver – i lys av Kunnskapsløftet Svein M. Sirnes

Bakgrunn Cand. philol. (tysk, fransk, engelsk) Praksis fra bl.a. videregående skole, distriktshøgskole, BI, amerikansk universitet, det amerikanske forsvarets språkskole, forlagsarbeid, testutvikling i USA, oversettelse (som frilans og i et amerikansk programvareselskap)

Kunnskapsløftet Nasjonalt vurderingssystem Deltakelse i internasjonale komparative undersøkelser (PISA, TIMSS o.a.) Kursjustering, men reformen kommer Fortsatt nasjonale prøver

Norge ikke alene Andre land har hatt samme debatt og utvikling Internasjonalisering Globalisering Rettighetssamfunnet Mindre homogen lærergruppe enn tidligere

USA Standardiserte tester Ideer fra liberale og radikale akademikere Åpne eliteuniversiteter for ”folk flest” Eksamener/læreplaner/krav fastsettes lokalt SAT – Educational Testing Service Flervalgsoppgaver Psykometri

Nederland CITO (med avdelinger i en rekke land) ETS

Bruk av flervalgsoppgaver Som øvinger Som oppgaver (også kalt items og spørsmål)

Fordeler I tester: Som øvinger: Mer reliable (pålitelige) Mer eksakt måling Egner seg for komparative undersøkelser Som øvinger: Gir svar med en gang Egner seg for elektronisk leverte øvinger og digitale læreplattformer

Åpne og lukkede oppgaver Åpen oppgave: Innledes gjerne med uttrykk som ”Grei ut om …” eller ”Gjør rede for ..”. Lukket oppgave: Flervalgsoppgaver, kombinasjonsoppgaver, rett-galt-oppgaver

Mange fordeler Kan dekke store deler av pensum Det tar mindre tid å besvare dem

Mange fordeler Kan dekke store deler av pensum Det tar mindre tid å besvare dem Krever ikke skrivearbeid fra testtakernes side Det tar mindre tid å vurdere dem

Mange fordeler Kan dekke store deler av pensum Det tar mindre tid å besvare dem Krever ikke skrivearbeid fra testtakernes side Det tar mindre tid å vurdere dem Objektiv vurdering Sensorer påvirkes ikke av testtakernes håndskrift og evne til å uttrykke seg skriftlig

Ulemper Det tar tid å lage gode oppgaver Iblant er det nesten umulig å finne egnede distraktører Kan ikke brukes til å måle skriveevne Testtakernes leseevne kan spille inn Har en tendens til å bli fakta- eller detaljorientert

Elementene i en flervalgsoppgave orientering stimulus stamme svaralternativer nøkkel distraktører

Orientering kort setning som innleder oppgaven/øvingen og som gjerne angir hvor neste element (stimulus) er hentet fra, f.eks. Fra en avis o.l. kan også inneholde en instruksjon og fortelle hva eleven skal gjøre

Stimulus tekst illustrasjon lydelement (monolog, dialog)

Stamme setningen som kommer etter stimulus og som inneholder selve oppgaven et spørsmål et ikke-avsluttet utsagn

Skriving av oppgaver Hva skal oppgaven vurdere? Fra et åpent til et lukket spørsmål Enkeltstående oppgaver Oppgaver som danner sett

Blooms taksonomi Vurdering Syntese Analyse Anvendelse Forståelse Kunnskap

Kunnskap beskrive definere gjengi presentere regne opp

Forståelse eller gjengivelse bevise forklare oversette skjelne tolke

Anvendelse avlese bruke demonstrere måle registrere

Analyse dele opp identifisere klassifisere skille ut sammenligne

Syntese forstå generalisere organisere produsere trekke slutninger

Vurdering avgjøre bedømme kritisere skille mellom

Stimulus spiller en nøkkelrolle Anvendelse Scenarier/caser Årsak og virkning Begrunnelse av metoder og framgangsmåter

Spørsmål I hvilken by arrangeres den årlige norske filmfestivalen? A Kristiansand B Ålesund C Haugesund D Grimstad

Ikke-avsluttet utsagn Norges årlige internasjonale folkemusikkfestival arrangeres i A Førde. B Florø. C Sogndal. D Måløy.

En elev skrev dette i et e-brev til læreren sin: I går jeg har sett en fransk film jeg likte godt. Den var heilt nye. Etter mi meining den burde vises for alle elevene på skolen! Nicole

Hvilken syntaktisk feil går igjen i to av Nicoles perioder? A Uriktig bruk av perfektum til å uttrykke en avsluttet handling B Manglende inversjon C Gal plassering av predikativ D Utelatelse av relativpronomen i nødvendige relativsetninger

Fra en avis: Ordfører bedt om å omgjøre vedtak Ordføreren i Brudal valgte A/S Asfalt til å anlegge ny vei til Vassli til tross for at firmaets anbud var høyere enn andre firmaers. Det ble senere avslørt at ordførerens bror har en større aksjepost i A/S Asfalt. Flere formannskapsmedlemmer krever nå at ordføreren omgjør sitt vedtak.

Hvorfor vil noen at ordføreren skal omgjøre sin beslutning? A Ordførerens vedtak var påvirket av hans private interesser. B Ordførerens nære familie bør ikke ha aksjeposter i noe firma. C Ordføreren mottok penger fra firmaet som bygde veien. D Ordføreren bør ikke bestemme hvem som skal bygge veier.

Spørsmålet må være fokusert Er det mulig å besvare spørsmålet hvis en dekker over svaralternativene? Hvis nei, er spørsmålet kanskje ikke godt nok fokusert.

Ikke-fokusert oppgave Bergen A ligger i Hordaland. B er Norges eldste by. C er Norges tredje største by. D har over 400 000 innbyggere.

Ikke for lang stamme Stammen må ikke være for lang. Unngå setninger med et instruerende innhold som gjør at stammen likner på et utdrag fra lærebok.

Ikke negative uttrykk i stammen Unngå negasjoner og negative uttrykk som ikke, aldri, med unntak av og unntatt i stammen. Hvis en likevel vil bruke et slikt utrykk, bør det framheves (understrekes, kursiveres, settes i halvfet skrift el.l.).

Oppgave med negativt uttrykk i stammen Følgende språk er germanske med unntak av B finsk. C frisisk. A islandsk. D nederlandsk.

Ikke la en oppgave røpe andre oppgaver! En oppgave må ikke røpe svaret på en annen oppgave i samme sett eller test. Er spesielt viktig i oppgavesett som har samme stimulus.

Nøkkel og distraktører Jo flere svaralternativer, desto vanskeligere blir oppgaven. Vanskeligheten øker også jo mer svaralternativene likner på hverandre.

For vanskelige oppgaver – mer gjetting Blir oppgavene for vanskelige, er det grunn til å tro at elevene gjetter, noe som ikke er ønskelig. Gjetting reduserer testens reliabilitet.

Delvis rette svaralternativer? Skal en ha delvis rette svaralternativer? Ikke aktuelt i de tilfeller der spørsmålet er et rent faktaspørsmål. Bruk av delvis rette svar kan aksepteres når instruksjonene går ut på å finne det beste svaret.

Korte og konsise svaralternativer et enkelt ord eller siffer en ordgruppe, flere sifre eller en formel en setning eller en periode

Grammatisk-logiske svar på spørsmålet Alle svaralternativene må være grammatisk-logiske svar på spørsmålet som stammen inneholder, eller avslutning på stammens ikke-avsluttede utsagn.

Struktur og lengde Svaralternativene må være på samme presisjonsnivå og ha tilnærmet lik syntaktisk struktur og lengde. Hvis det er fire svaralternativer, må i hvert fall to og to være mest mulig parallelle.

Økonomiser med ord Hvis svaralternativene inneholder ord eller uttrykk som går igjen i alle, kan disse med fordel sløyfes.

Økonomiser med ord Hva het Willy Brandt som gutt? A Han het Herbert Frahm. B Han het Jochen Vogel. C Han het Karl Carstens. D Han het Ludwig Gerkel.

Bedre: Hva het Willy Brandt som gutt? A Herbert Frahm B Jochen Vogel C Karl Carstens D Ludwig Gerkel

Bare én nøkkel Unngå distraktører som faktisk kan være nøkkel!

Hierarkisk struktur i svaralternativene Når svaralternativene er tall (eller årstall) som danner en hierarkisk struktur, bør de plasseres i stigende rekkefølge (dvs. numeriske svar i numerisk og årstall i kronologisk orden).

Unngå formuleringer fra læreboka Bygger oppgaven på et bestemt pensum eller læreverk, bør en unngå svaralternativer som inneholder de samme formuleringene som finnes i læreboka. Oppgaven blir som oftest bedre dersom en skriver om og velger alternative ord og vendinger.

Fagspesifikke oppgavetyper Språkfag Matematikk Historie Samfunnsfag

Mange varianter Gestern _____ ich einen sehr interessanten Roman. A las B liest C lest D last

Kritisk gjennomgang Er oppgaven relevant i forhold til fagplanen/pensum?

Kritisk gjennomgang Er oppgaven relevant i forhold til fagplanen/pensum? Er stammen klar og konsis?

Kritisk gjennomgang Er oppgaven relevant i forhold til fagplanen/pensum? Er stammen klar og konsis? Inneholder stammen ord som med fordel kan sløyfes?

Kritisk gjennomgang Er oppgaven relevant i forhold til fagplanen/pensum? Er stammen klar og konsis? Inneholder stammen ord som med fordel kan sløyfes? Er det mulig å besvare oppgaven ved kun å lese stammen?

Kritisk gjennomgang Bare har ett rett svar? Et svar som er klart best?

Kritisk gjennomgang Er nøkkelen et godt svar på oppgaven? Er distraktørene plausible? Er distraktørene svar som elever/studenter ofte gir på slike spørsmål? Er alle svaralternativene logisk-grammatiske svar på spørsmålet eller en avslutning på stammen?

Sant-usant-oppgave En sant–usant-oppgave (eller rett–galt-oppgave) består av en serie utsagn som eleven skal ta standpunkt til. Oppgaven består i å angi om utsagnene er sanne eller usanne (ev. rette eller gale).

Angi om disse utsagnene er sanne eller usanne: 1. Bulgaria er medlem av NATO. 2. Venstre er Norges eldste parti. 3. Carl I. Hagen er utdannet jurist. 4. Man må være stortingsrepresentant for å kunne bli medlem av en norsk regjering. 5. Bare medlemmer av statskirken kan ha styreverv i Kristelig Folkeparti.

Kombinasjonsoppgave En kombinasjonsoppgave (matching og sammenføringsoppgave) består som oftest av to kolonner. Enheter i den ene kolonnen skal kombineres med enheter i den andre.

Dra-og-slipp-funksjonalitet Alle mulige slags kreative kombinasjonsoppgaver lages. Oppgaveformen har begrensninger mht. taksonomisk nivå.

Gjetting På en enkeltstående flervalgsoppgave som har fire svaralternativer, er sjansen 25 % for at testtakeren treffer rett svar ved hjelp av gjetting.

Gjetting Sannsynligheten for å gjette rett reduseres jo flere enkeltoppgaver testen består av.

Gjetting Er det 10 oppgaver i testen, er sjansen for å få alle rett ved hjelp av gjetting ca. 0,000000009! Risikoen for at en elev får en kunstig høy skåre på en test som har 50 enkeltoppgaver eller mer, er meget liten.

Justeringsformel Den vanligste justeringsformelen: skåre = rett – galt/n-1

Analyse av enkeltoppgaver enkeltoppgavenes vanskelighetsgrad enkeltoppgavenes diskrimineringsevne (eller diskriminatoriske styrke) distraktørenes effektivitet