Flervalgsoppgaver – i lys av Kunnskapsløftet

Presentasjon om: "Flervalgsoppgaver – i lys av Kunnskapsløftet"— Utskrift av presentasjonen:

1 Flervalgsoppgaver – i lys av Kunnskapsløftet
Svein M. Sirnes

2 Bakgrunn Cand. philol. (tysk, fransk, engelsk)
Praksis fra bl.a. videregående skole, distriktshøgskole, BI, amerikansk universitet, det amerikanske forsvarets språkskole, forlagsarbeid, testutvikling i USA, oversettelse (som frilans og i et amerikansk programvareselskap)

3 Kunnskapsløftet Nasjonalt vurderingssystem
Deltakelse i internasjonale komparative undersøkelser (PISA, TIMSS o.a.) Kursjustering, men reformen kommer Fortsatt nasjonale prøver

4 Norge ikke alene Andre land har hatt samme debatt og utvikling
Internasjonalisering Globalisering Rettighetssamfunnet Mindre homogen lærergruppe enn tidligere

5 USA Standardiserte tester Ideer fra liberale og radikale akademikere
Åpne eliteuniversiteter for ”folk flest” Eksamener/læreplaner/krav fastsettes lokalt SAT – Educational Testing Service Flervalgsoppgaver Psykometri

6 Nederland CITO (med avdelinger i en rekke land) ETS

7 Bruk av flervalgsoppgaver
Som øvinger Som oppgaver (også kalt items og spørsmål)

8 Fordeler I tester: Som øvinger: Mer reliable (pålitelige)
Mer eksakt måling Egner seg for komparative undersøkelser Som øvinger: Gir svar med en gang Egner seg for elektronisk leverte øvinger og digitale læreplattformer

9 Åpne og lukkede oppgaver
Åpen oppgave: Innledes gjerne med uttrykk som ”Grei ut om …” eller ”Gjør rede for ..”. Lukket oppgave: Flervalgsoppgaver, kombinasjonsoppgaver, rett-galt-oppgaver

10 Mange fordeler Kan dekke store deler av pensum
Det tar mindre tid å besvare dem

11 Mange fordeler Kan dekke store deler av pensum
Det tar mindre tid å besvare dem Krever ikke skrivearbeid fra testtakernes side Det tar mindre tid å vurdere dem

12 Mange fordeler Kan dekke store deler av pensum
Det tar mindre tid å besvare dem Krever ikke skrivearbeid fra testtakernes side Det tar mindre tid å vurdere dem Objektiv vurdering Sensorer påvirkes ikke av testtakernes håndskrift og evne til å uttrykke seg skriftlig

13 Ulemper Det tar tid å lage gode oppgaver
Iblant er det nesten umulig å finne egnede distraktører Kan ikke brukes til å måle skriveevne Testtakernes leseevne kan spille inn Har en tendens til å bli fakta- eller detaljorientert

14 Elementene i en flervalgsoppgave
orientering stimulus stamme svaralternativer nøkkel distraktører

15 Orientering kort setning som innleder oppgaven/øvingen og som gjerne angir hvor neste element (stimulus) er hentet fra, f.eks. Fra en avis o.l. kan også inneholde en instruksjon og fortelle hva eleven skal gjøre

16 Stimulus tekst illustrasjon lydelement (monolog, dialog)

17 Stamme setningen som kommer etter stimulus og som inneholder selve oppgaven et spørsmål et ikke-avsluttet utsagn

18 Skriving av oppgaver Hva skal oppgaven vurdere?
Fra et åpent til et lukket spørsmål Enkeltstående oppgaver Oppgaver som danner sett

19 Blooms taksonomi Vurdering Syntese Analyse Anvendelse Forståelse
Kunnskap

20 Kunnskap beskrive definere gjengi presentere regne opp

21 Forståelse eller gjengivelse
bevise forklare oversette skjelne tolke

22 Anvendelse avlese bruke demonstrere måle registrere

23 Analyse dele opp identifisere klassifisere skille ut sammenligne

24 Syntese forstå generalisere organisere produsere trekke slutninger

25 Vurdering avgjøre bedømme kritisere skille mellom

26 Stimulus spiller en nøkkelrolle
Anvendelse Scenarier/caser Årsak og virkning Begrunnelse av metoder og framgangsmåter

27 Spørsmål I hvilken by arrangeres den årlige norske filmfestivalen?
A Kristiansand B Ålesund C Haugesund D Grimstad

28 Ikke-avsluttet utsagn
Norges årlige internasjonale folkemusikkfestival arrangeres i A Førde. B Florø. C Sogndal. D Måløy.

29 En elev skrev dette i et e-brev til læreren sin:
I går jeg har sett en fransk film jeg likte godt. Den var heilt nye. Etter mi meining den burde vises for alle elevene på skolen! Nicole

30 Hvilken syntaktisk feil går igjen i to av Nicoles perioder?
A Uriktig bruk av perfektum til å uttrykke en avsluttet handling B Manglende inversjon C Gal plassering av predikativ D Utelatelse av relativpronomen i nødvendige relativsetninger

31 Fra en avis: Ordfører bedt om å omgjøre vedtak
Ordføreren i Brudal valgte A/S Asfalt til å anlegge ny vei til Vassli til tross for at firmaets anbud var høyere enn andre firmaers. Det ble senere avslørt at ordførerens bror har en større aksjepost i A/S Asfalt. Flere formannskapsmedlemmer krever nå at ordføreren omgjør sitt vedtak.

32 Hvorfor vil noen at ordføreren skal omgjøre sin beslutning?
A Ordførerens vedtak var påvirket av hans private interesser. B Ordførerens nære familie bør ikke ha aksjeposter i noe firma. C Ordføreren mottok penger fra firmaet som bygde veien. D Ordføreren bør ikke bestemme hvem som skal bygge veier.

33 Spørsmålet må være fokusert
Er det mulig å besvare spørsmålet hvis en dekker over svaralternativene? Hvis nei, er spørsmålet kanskje ikke godt nok fokusert.

34 Ikke-fokusert oppgave
Bergen A ligger i Hordaland. B er Norges eldste by. C er Norges tredje største by. D har over innbyggere.

35 Ikke for lang stamme Stammen må ikke være for lang.
Unngå setninger med et instruerende innhold som gjør at stammen likner på et utdrag fra lærebok.

36 Ikke negative uttrykk i stammen
Unngå negasjoner og negative uttrykk som ikke, aldri, med unntak av og unntatt i stammen. Hvis en likevel vil bruke et slikt utrykk, bør det framheves (understrekes, kursiveres, settes i halvfet skrift el.l.).

37 Oppgave med negativt uttrykk i stammen
Følgende språk er germanske med unntak av B finsk. C frisisk. A islandsk. D nederlandsk.

38 Ikke la en oppgave røpe andre oppgaver!
En oppgave må ikke røpe svaret på en annen oppgave i samme sett eller test. Er spesielt viktig i oppgavesett som har samme stimulus.

39 Nøkkel og distraktører
Jo flere svaralternativer, desto vanskeligere blir oppgaven. Vanskeligheten øker også jo mer svaralternativene likner på hverandre.

40 For vanskelige oppgaver – mer gjetting
Blir oppgavene for vanskelige, er det grunn til å tro at elevene gjetter, noe som ikke er ønskelig. Gjetting reduserer testens reliabilitet.

41 Delvis rette svaralternativer?
Skal en ha delvis rette svaralternativer? Ikke aktuelt i de tilfeller der spørsmålet er et rent faktaspørsmål. Bruk av delvis rette svar kan aksepteres når instruksjonene går ut på å finne det beste svaret.

42 Korte og konsise svaralternativer
et enkelt ord eller siffer en ordgruppe, flere sifre eller en formel en setning eller en periode

43 Grammatisk-logiske svar på spørsmålet
Alle svaralternativene må være grammatisk-logiske svar på spørsmålet som stammen inneholder, eller avslutning på stammens ikke-avsluttede utsagn.

44 Struktur og lengde Svaralternativene må være på samme presisjonsnivå og ha tilnærmet lik syntaktisk struktur og lengde. Hvis det er fire svaralternativer, må i hvert fall to og to være mest mulig parallelle.

45 Økonomiser med ord Hvis svaralternativene inneholder ord eller uttrykk som går igjen i alle, kan disse med fordel sløyfes.

46 Økonomiser med ord Hva het Willy Brandt som gutt?
A Han het Herbert Frahm. B Han het Jochen Vogel. C Han het Karl Carstens. D Han het Ludwig Gerkel.

47 Bedre: Hva het Willy Brandt som gutt? A Herbert Frahm B Jochen Vogel
C Karl Carstens D Ludwig Gerkel

48 Bare én nøkkel Unngå distraktører som faktisk kan være nøkkel!

49 Hierarkisk struktur i svaralternativene
Når svaralternativene er tall (eller årstall) som danner en hierarkisk struktur, bør de plasseres i stigende rekkefølge (dvs. numeriske svar i numerisk og årstall i kronologisk orden).

50 Unngå formuleringer fra læreboka
Bygger oppgaven på et bestemt pensum eller læreverk, bør en unngå svaralternativer som inneholder de samme formuleringene som finnes i læreboka. Oppgaven blir som oftest bedre dersom en skriver om og velger alternative ord og vendinger.

51 Fagspesifikke oppgavetyper
Språkfag Matematikk Historie Samfunnsfag

52 Mange varianter Gestern _____ ich einen sehr interessanten Roman.
A las B liest C lest D last

53 Kritisk gjennomgang Er oppgaven relevant i forhold til fagplanen/pensum?

54 Kritisk gjennomgang Er oppgaven relevant i forhold til fagplanen/pensum? Er stammen klar og konsis?

55 Kritisk gjennomgang Er oppgaven relevant i forhold til fagplanen/pensum? Er stammen klar og konsis? Inneholder stammen ord som med fordel kan sløyfes?

56 Kritisk gjennomgang Er oppgaven relevant i forhold til fagplanen/pensum? Er stammen klar og konsis? Inneholder stammen ord som med fordel kan sløyfes? Er det mulig å besvare oppgaven ved kun å lese stammen?

57 Kritisk gjennomgang Bare har ett rett svar? Et svar som er klart best?

58 Kritisk gjennomgang Er nøkkelen et godt svar på oppgaven?
Er distraktørene plausible? Er distraktørene svar som elever/studenter ofte gir på slike spørsmål? Er alle svaralternativene logisk-grammatiske svar på spørsmålet eller en avslutning på stammen?

59 Sant-usant-oppgave En sant–usant-oppgave (eller rett–galt-oppgave) består av en serie utsagn som eleven skal ta standpunkt til. Oppgaven består i å angi om utsagnene er sanne eller usanne (ev. rette eller gale).

60 Angi om disse utsagnene er sanne eller usanne:
1. Bulgaria er medlem av NATO. 2. Venstre er Norges eldste parti. 3. Carl I. Hagen er utdannet jurist. 4. Man må være stortingsrepresentant for å kunne bli medlem av en norsk regjering. 5. Bare medlemmer av statskirken kan ha styreverv i Kristelig Folkeparti.

61 Kombinasjonsoppgave En kombinasjonsoppgave (matching og sammenføringsoppgave) består som oftest av to kolonner. Enheter i den ene kolonnen skal kombineres med enheter i den andre.

62 Dra-og-slipp-funksjonalitet
Alle mulige slags kreative kombinasjonsoppgaver lages. Oppgaveformen har begrensninger mht. taksonomisk nivå.

63 Gjetting På en enkeltstående flervalgsoppgave som har fire svaralternativer, er sjansen 25 % for at testtakeren treffer rett svar ved hjelp av gjetting.

64 Gjetting Sannsynligheten for å gjette rett reduseres jo flere enkeltoppgaver testen består av.

65 Gjetting Er det 10 oppgaver i testen, er sjansen for å få alle rett ved hjelp av gjetting ca. 0, ! Risikoen for at en elev får en kunstig høy skåre på en test som har 50 enkeltoppgaver eller mer, er meget liten.

66 Justeringsformel Den vanligste justeringsformelen:
skåre = rett – galt/n-1

67 Analyse av enkeltoppgaver
enkeltoppgavenes vanskelighetsgrad enkeltoppgavenes diskrimineringsevne (eller diskriminatoriske styrke) distraktørenes effektivitet