Tor Egil Førland, leder for Nasjonalt fagråd i historie UHRs karaktersamling 26. oktober 2017 Karakterundersøkelsen 2016 i nordisk, engelsk og historie Tor Egil Førland, leder for Nasjonalt fagråd i historie t.e.forland@iakh.uio.no

Innledning: IMRAED Innledning Metode Resultater Analyse Etterarbeid Diskusjon.

Metode: Oppdraget Oppdrag gitt av Nasjonalt fakultetsmøte for humanistiske fag sommer/høst 2016 til fagrådene i nordisk, engelsk og historie: Gjennomføre kontrollsensur av karaktergivningen på bachelor (lavere grad) Plukke ut 5–10 oppgaver fra hver institusjon Velge nivå selv (basis/påbygging/BA-oppgave), men likt på tvers av institusjonene Jamføre med karakterundersøkelsen fra 2008 Kartlegge bruken av sensorveiledning Undersøke ev andre spørsmål f eks ekstern sensor.

Metode: Nordisk 25 besvarelser fra 5 læresteder 2015h og 2016v (UiA, UiB, NTNU, UiO, UiS) Skoleeksamen på 4 og 6 t; språkhistoriske emner på 100/1000-nivå; 7,5, 10 og 15 stp To kontrollsensorer (fra UiT og NTNU) ble enige om en felles karakter.

Metode: Engelsk 35 besvarelser fra 2015h og 2016v fra 6 læresteder (NTNU, UiA, UiO [2009h], UiS, UiT) Stort sett skoleeksamen fra 3 til 6 t; fonetikk og noen i lingvistikk; alle på 100/1000-nivå; 5, 7,5, 10 og 15 stp To kontrollsensorer (fra NTNU og Volda) gav hver sine karakterer, møttes aldri (?).

Metode: Historie 77 besvarelser fra 2015 og 2016 fra 13 læresteder (BI, HiL, HiSF, HiT, HiVe, HiVo, NTNU, UiA, UiB, UiN, UiO, UiS, UiT) Skole- og noen kombinerte skole/hjemmeeksamener av varierende varighet; 100/1000-nivå i «fortrinnsvis eldre verdenshistorie», fortrinnsvis 10–15 stp Fem kontrollsensorer (fra UiO, UiO, UiB, NTNU, HiSN) gav individuelle karakterer og møttes og ble enige om en felles karakter.

Metode: Forbehold Det er vanskelig å vurdere hva som er «riktig» nivå på karakterene når man bare har et fåtall besvarelser å vurdere fra hvert lærested (dvs som har besvart samme oppgave) Det er ikke gitt at to (eller flere) sensorer som ikke kjenner konteksten rundt en bestemt eksamen, gir riktigere karakterer enn en sensor (eller flere) som kjenner konteksten godt.

Resultater: Hovedfunn Kontrollsensorene var i alle tre fag uenige i rundt halvparten av de opprinnelige karakterene Kontrollsensorene var stort sett strengere enn de opprinnelige sensorene («hjemmedømming») Noen (nokså få) ganger og steder er forskjellen mellom opprinnelig karakter og kontrollkarakter betenkelig stor Ikke noe lærested er best eller dårligst (dvs har hhv minst eller størst avstand mellom opprinnelig sensur og kontrollsensur) i alle fag, men NTNU er best i to og nest best i det tredje, og UiS er dårlig i to av tre Ingen av sensorpanelene forholdt seg aktivt til 2008- undersøkelsen.

Resultater: Nordisk Avvik mellom opprinnelig sensur og kontrollsensur i 10 av 25 besvarelser Opprinnelig sensur var i snitt per institusjon nesten en halv karakter (0,42) bedre enn kontrollsensuren Ingen av avvikene utgjorde «bortedømming» Avvikene er gjennomgående små (én karakter) UiS har avvik på alle besvarelsene.

Resultater: Engelsk Avvik i 17 av 35 besvarelser Opprinnelig sensur var i institusjonssnitt nesten en hel karakter (0,8) bedre enn snittet av kontrollsensorene NTNU og UiA har nesten ingen avvik – og multiple choice-oppgaver UiB og UiS har få avvik UiT har hjemmedømming for alle 5 besvarelsene UiO (2009) har mange avvik, og mange besvarelser (5/9) som bestod opprinnelig sensur, men som kontrollsensorene ville stryke.

Resultater: Historie Avvik i 45 av 77 besvarelser (ikke 38 av 77 som arbeidsgruppen skriver) De fleste avvikene (38) er på bare én karakter (6 på to, 1 på tre) Opprinnelig sensur var i institusjonssnitt nesten en halv karakter (0,42) bedre enn kontrollsensuren Innslagene av bortedømming (som utjevner en del av hjemmedømmingen) kamuflerer noe av totalomfanget av forskjellen mellom opprinnelig sensur og kontrollsensur (0,53) Av opprinnelig 17 A-er, ville kontrollsensuren beholde 3 Mot opprinnelig 5 F-er, ville kontrollsensuren stryke 12 UiB og HSF har svak bortedømming (0,2 strengere); NTNU har likt; de ti andre har hjemmedømming, varierende fra svak ved HiT (0,2) og UiT (0,4) til nokså sterk ved UiS (1) og HiBV (1,2).

Analyse: Historie (Min mening: Bortdømming er like ille som hjemmedømming, selv om det skjer sjeldnere) Det er vanskelig å sette «riktig» karakter i tolkningsfag som ikke har fasit Det er lett å sette «feil» – og gjerne for god – karakter i emner utenfor eget fagfelt Flere sensorer reduserer faren for vilkårlighet noe (korrelasjon antall sensorer/panelsamsvar = 0,33) Sensorveiledning kan hjelpe en del (korrelasjon sensorveiledning/panelsamsvar = 0,47) – og er pålagt Sensur i isolasjon er risikabelt – og kan motvirkes på flere vis (sensorfellesskap, tilsynsensor).

Etterarbeid: Historie Diskusjon av karakterundersøkelsen på fagrådsmøte 3. april 2017 Orientering om lokale oppfølgingstiltak – gjennom- førte eller planlagte – på fagrådsmøte 26. oktober 2017 (derfor må jeg gå herfra før lunsj): Sensorveiledning på (nesten) alle eksamener Ikke vesentlig mindre enesensur Mer ekstern deltakelse i sensurarbeidet Mer fellesskap rundt sensuren Mer feltkompetanse der det er praktisk mulig.

Etterarbeid: Nordisk Karakterundersøkelsen diskutert på fagrådsmøte 8. juni 2017 Tre spørsmål fra Fakkultetsmøtet: (a) sensorveiledning? (b) sensorsamarbeid? (flersensorordning) (c) ekstern tilsynssensor? Bruk av sensorveiledning varierer sterkt Flere visste ikke hva en sensorveiledning er Andre var skeptiske til sensorveiledning i f eks analyse av en novelle der «fasit» ikke finnes Enighet om at enesensur er uheldig, men ressursbesparende Usikkerhet om hva tilsynssensor betyr: «rollen må klargjøres før vi kan ta standpunkt».

Etterarbeid: Engelsk Skal diskutere karakterundersøkelsen på fagrådsmøte primo desember, både (a), (b) og (c) Fagrådsleder (NTNU) ønsker seg ekstern sensor – og at han/hun lager oppgaven – i tillegg til den interne på hver eksamen, men erkjenner at det er kostbart og komplisert.

Diskusjon (kommer etterpå)