UNIVERSITETET I OSLO Institutt for statsvitenskap Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap 1. Karaktersetting på masteroppgaver V En eller to sensorer? Et eksperiment Nasjonal karaktersamling i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008

UNIVERSITETET I OSLO Institutt for statsvitenskap Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet) Masteroppgaver fra 6 studieprogrammer Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007 Medlemmene satte karakterer individuelt og begrunnet dem skriftlig Innstilling om masterprogrammer og -oppgaver tidligere ( )

UNIVERSITETET I OSLO Institutt for statsvitenskap Utfordring: Svært gode karakterer på visse programmer Masteroppgaver i statsvitenskap 2006

UNIVERSITETET I OSLO Institutt for statsvitenskap Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet) Masteroppgaver fra 6 studieprogrammer Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007 Medlemmene satte karakterer individuelt og begrunnet dem skriftlig Innstilling om masterprogrammer og -oppgaver tidligere ( ) Utfordring: Svært gode karakterer på visse programmer Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

UNIVERSITETET I OSLO Institutt for statsvitenskap Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet) 2 masteroppgaver fra hvert studieprogram Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007 Medlemmene satte karakterer individuelt og begrunnet dem skriftlig Innstilling om masterprogrammer og -oppgaver tidligere ( ) Utfordring: Svært gode karakterer på visse programmer Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger Tilfeldig utvalg av 11 oppgaver fra fem universiteter med karakter B

UNIVERSITETET I OSLO Institutt for statsvitenskap Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet) 2 masteroppgaver fra hvert studieprogram Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007 Medlemmene satte karakterer individuelt og begrunnet dem skriftlig Innstilling om masterprogrammer og -oppgaver tidligere ( ) Utfordring: Svært gode karakterer på visse programmer Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger Hvordan ”sensorene” (flertallet) vurderte de 11 oppgavene som hadde fått B 3 7 1

UNIVERSITETET I OSLO Institutt for statsvitenskap Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet) 2 masteroppgaver fra hvert studieprogram Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007 Medlemmene satte karakterer individuelt og begrunnet dem skriftlig Innstilling om masterprogrammer og -oppgaver tidligere ( ) Utfordring: Svært gode karakterer på visse programmer Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger Hvordan de 7 ”sensorenes” stemmer ved vurderingen av de 11 oppgavene fordelte seg (prosent) 3 7 1

UNIVERSITETET I OSLO Institutt for statsvitenskap DEL 2: Videreføring i form av et sensoreksperiment Institusjon og studiepoeng ABCD 1. UiT Sampol Offadm Offadm NTNU NTNU UiO UiO UiA Offadm → 40 sensorer bedømmer samme besvarelse på et innføringsemne på bachelor i statsvitenskap → Formål å belyse spredning i vurderinger og sider ved interaksjonen i eksamenskommisjoner med to sensorer Detaljert oversikt over sensorenes vurderinger

UNIVERSITETET I OSLO Institutt for statsvitenskap Sensoreksperiment: To hypoteser HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin. Bjørn Erik Rasch og Sara Kristine Eriksen (2008): ”En eller to sensorer? Et eksperiment.” Arbeidsnotat. Institutt for statsvitenskap, UiO.

UNIVERSITETET I OSLO Institutt for statsvitenskap Sherif, Muzafer (1937). “An Experimental Approach to the Study of Attitudes”, Sociometry 1: Hypotese 2: Teoretisk grunnlag……

UNIVERSITETET I OSLO Institutt for statsvitenskap

UNIVERSITETET I OSLO Institutt for statsvitenskap Asch, Solomon E. (1952). Social psychology. Englewood Cliffs, NJ: Prentice-Hall. YouTube.com YouTube.com Conformity Video Clip ”Asch’s Conformity Experiment”Asch’s Conformity Experiment Hvilken av strekene A, B eller C er like lang som denne?

UNIVERSITETET I OSLO Institutt for statsvitenskap Hypoteser HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin. HYPOTESE 2. Det første karakterinnspillet fra en sensor i en eksamenskommisjon påvirker i seg selv hvilket forslag den andre sensoren fremmer, og dermed indirekte karakterfastsettelsen. Jeg foreslår en B.

UNIVERSITETET I OSLO Institutt for statsvitenskap Metode (eksperimentelt design) → Besvarelsen til vurdering hadde fått D (D-en ble opprettholdt etter klage) Medsensors beskjed: ” ─ Jeg synes ikke det var så lett å vurdere oppgaven, men har til slutt endt opp med å sette karakteren B.”

UNIVERSITETET I OSLO Institutt for statsvitenskap Resultater: Karakterfordeling for eksperimentgruppe (B) og kontrollgruppe (A) → Besvarelsen til vurdering hadde fått D (D-en ble opprettholdt etter klage) AEDCB

UNIVERSITETET I OSLO Institutt for statsvitenskap Deskriptiv statistikk for de to sensorgruppene MinMaksGj.snittStdAntall Gruppe A1 (E)4 (B)2,47 (D)0,90N=19 Gruppe B2 (D)4 (B)3,27 (C)0,67N=18 Avvik (t-verdi) 0,80 (3,04) Størst spredning : Gruppe A D D er modus, median og gjennomsnitt i gruppe A C C er modus, median og gjennomsnitt i gruppe B

UNIVERSITETET I OSLO Institutt for statsvitenskap Forskjeller i gjennomsnittskarakter for ulike grupper av sensorer Sensorenes ekspertise og erfaring har betydning Feilvurderinger som en sensor gjør blir ikke nødvendigvis rettet opp

UNIVERSITETET I OSLO Institutt for statsvitenskap Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)

UNIVERSITETET I OSLO Institutt for statsvitenskap Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer) Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter

UNIVERSITETET I OSLO Institutt for statsvitenskap Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer) Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter Må ta et skritt tilbake og spørre: Hva er grunnlaget for karaktersettingen?