VURDERING LUT VÅREN 2011 Line Wittek

Line Wittek, Høgskolen i Vestfold 2 ”Dersom vi vil finne sannheten om et utdanningssystem, må vi se på evalueringen. Hva slags kvaliteter ved studentene/elevene og arbeidene deres blir aktivt verdsatt og belønnet av systemet” (Rowntree 1987)

“The assessment reform” USA, Australia, England 1990-tallet I Norge: KUF, rapport om høyere utdanning, 1997 Ressursbruk Hvordan kan vurderingsprosesser knyttes tettere til læreprosesser? Studentenes insats underveis som del av vurderingsgrunnlaget Sluttvurderingens tilbakevirkelnde kraft Pugging versus anvendelse og forståelse Studentene aktiv rolle Line Wittek, Høgskolen i Vestfold 3

Eksempler på eksamenskritikk Line Wittek, Høgskolen i Vestfold 4 Vurderingens ”wash-back-effekt” Studentene husker store mengder informasjon en stund Mye stoff som er ”pugget for eksamen” glemmes raskt… …og blir i liten grad benyttet i praksis En god karakter betyr ikke nødvendigvis god forståelse Rystads studie (1993) NTH – studenter som hadde avlagt eksamen 2 år tidligere – uforberedt - ingen bestod Forskere fra Sintef (2-15 års erfaring) – uforberedt - ingen bestod HVA TESTER SKRIFTLIG EKSAMEN?

Line Wittek, Høgskolen i Vestfold 5 Noen var tidlig ute med kritikken… «Stapper hodet fullt av fakta. Holder hendene rundt det så ikke noe skal skvulpe over mens du vandrer til eksamensbordet. Eksaminasjon Du fisker opp boller fra suppa i hodet ditt som passer til spørsmålene. - eller du rører rundt på leiting etter passende biter, usikker på om de finnes der. - eller du finner ingenting, blir nervøs og virrer med sleiva. Etterpå går du ut og bøyer hodet dypt, så hele suppa renner ut. Kanskje noen biter blir igjen – eller kanskje ikke?» (Mosse Jørgensen 1987)

Hva skal vurderes/måles? Line Wittek, Høgskolen i Vestfold 6 I forhold til hvilket mandat? I forhold til hvilken logikk? Hvorfor ”nye” vurderingsformer?

Vurderingens ulike funksjoner Line Wittek, Høgskolen i Vestfold 7 Utvelging og sertifisering Gi studenten info om egen fremgang – gi grunnlag for videre læring og utvikling Gi institusjonen info om læringsmessige forhold Konsoliderende

Hvilken relevans har eksamensresultater? (Gardner 1999 i Lauvås og Jacobsen 2004) Line Wittek, Høgskolen i Vestfold 8 ”If life consisted only of schooling, most formal tests would serve their purpose well – though last year`s grades would fulfil the same predictive purposes equally well. Schooling, howewer, is supposed to be a preparation for life, and there is ample evidence that formal testing is an indifferent predictor for success once a student has left school”

Fra Dyrstad 2001 (referert i Lauvås og Jacobsen 2004) Line Wittek, Høgskolen i Vestfold 9 ”Jeg fikk 2,3 på en russisk eksamen og jeg kan ikke russisk. Jeg hadde ikke kunnet snakke med en russer hvis jeg traff en. Jeg kan språkteori, liksom … Jeg skulle nesten ønske at jeg ikke hadde russisk eksamen, for det er flaut å si at man har det og så treffe en russer og … Det at man kan greie ut om preteritumsbruk på russisk betyr ikke at man kan si en setning i sammenheng”

Vektleggingen (Boud 1995, s. 14 i Lauvås og Jacobsen 2004) Line Wittek, Høgskolen i Vestfold 10 ”… one purpose of assessment has come to dominate all others. Assessment for certification has received an overwhelming amount of attention in the litterature. Most papers on assessment either explicitly or implicitly focus on the aspect of assesssment associated with grading, ranking and the portrayal of achievement to others. Assessment to aid learning is either ignored, regarded as a minor issue or relegated to a less technically sophisticated litterature on teaching”

Hovedformer for individvurdering Line Wittek, Høgskolen i Vestfold 11 Formativ vurdering : Intervensjon i læringsprosessen, fokus på studentens utvikling og læring (”feedback”) Summativ vurdering: Avsluttende og kontrollerende vurdering. Hovedvekt på godkjenning, sertifisering evt. også rangering

Crucial distinction (Sadler 1983) Line Wittek, Høgskolen i Vestfold 12 Assessment FOR Learning: How can we use assessment to help students learn more? FORMATIV Assessment OF Learning: How much have students learned as of a particular point in time? SUMMATIV

Formativ vurdering (Sadler 1983) Line Wittek, Høgskolen i Vestfold 13 More than testing frequently Even more than teachers using assessment information to plan next steps It`s al about bringing students into the assessment process – student involvment

AV LÆRING FOR LÆRING Rasjonale for vurdering Kartlegge ferdighets- eller kunnskapsnivå Stimulere læring For å informereAndre om studentens kvalifikasjoner Studentene om dem selv Fokus for vurderingen Oppnåelse av visse krav Avdekke hva som skal til for å oppnå kravene DrivkraftForpliktelse (Accountability) Forbedring Line Wittek, Høgskolen i Vestfold 14

AV LÆRING FOR LÆRING EksemplerStandardiserte prøver, klasseromsprøver som karaktersettes Vurdering som diagnostiserer studentenes/eleve nes behov eller som hjelper dem med å se egen utvikling Plassering i tidEgen situasjon i etterkant av læring Del av læringsprosessen Line Wittek, Høgskolen i Vestfold 15

AV LÆRING FOR LÆRING PrimærbrukerePolitikere, Studieprogram- utviklere, media, samfunn, skoleledere, lærere Studenter, lærere Typiske brukereVitnemål, instanser som vurderer kompetanse, «gatekeeper decisions» Studentene skal oppleve suksess, Lærere skal hjelpe studentene med å oppleve suksess Line Wittek, Høgskolen i Vestfold 16

AV LÆRING FOR LÆRING Lærernes rolle Administrere tester, tolke og bruke resultater, utvikle klasseromstester, og sette karater Endre standarder til klasseroms- standarder (etablere vurderingskultur), informere og involvere studenter Studentenes role Studere for å oppfylle standarder, tilstrebe høyest mulig score/unngå å feile Avdekke hva som er målet og bruke resultatet til å lære og yte bedre neste gang. Fokus ved vurderingen Hvorvidt studenten har oppfylt kravene Kompetanse i å lykkes skolen i Vestfold 17

Hvordan hjelpe studentene/elevene til å ønske å lære? Line Wittek, Høgskolen i Vestfold 18 Vår utdanningstradisjon – vekt på tester, karakterer og promotering Bidrar dette til motivasjon blant studentene/elevene? For noen: JA For noen: NEI For noen: uheldige sidevirkninger

Normalfordeling av studentmassen Line Wittek, Høgskolen i Vestfold 19 Normalfordeling av studentmassen (Lauvås og Jacobsen 2004): Sterkt motiverte: 20% Middels motiverte: 30-40% ”Minimalister” 40-50% Lærerens tendens til å «sette i bås» Blant minimalistene finner vi en ukjent prosentandel ”late bloomers”

Black and William 1998 Karaktergivning kan ha negativ innvirkning på læringsprosesser Dersom karakteren er dårligere enn hva studenten selv mener hun har fortjent: kan karaktersetting ha en alvorlig negativ innvirkning Oppfatter seg selv som “mislykkede” Mindre motivasjon Mindre engasjement Lavere deltakelse Dårligere muligheter for å lykkes Line Wittek, Høgskolen i Vestfold 20

Betingelser for ”excellence” (Cross 1996) Line Wittek, Høgskolen i Vestfold Høye forventninger 2. Student- / elevmedvirkning og -engasjement 3. Underveis vurdering og tilbakemelding (Punkt 3: svakest forankret i vårt utdanningssystem)

Internasjonale tendenser: (Brown & Pendleburry 1997) FRA Kontroll /Rangering TIL Utvikling læring Skriftlig slutteksamenMappevurdering, egenvurdering, medstudentvurdering, gruppe/prosjekt- fremlegg Implisitte kriterierEksplisitte kriterier KonkurranseSamarbeid LærerstyrtStudentinnflytelse ProduktfokusProsessfokus Fakta / InnholdKompetanse Line Wittek, Høgskolen i Vestfold 22

Stortingsmelding 27 om eksamen Line Wittek, Høgskolen i Vestfold 23 Mindre vekt på sluttvurdering fordi den stimulerer kortsiktig pugg fremfor læring og forståelse - valg av vurderngsform styrende for studieatferd - vurdering underveis en viktig del av studieopplegget - mappevurdering eller deleksamener vil gi: hyppige tilbakemeldinger jevnere arbeidsfordeling fra pugg til forståelse bedre utnyttelse av studieåret

Ulike former for summativ vurdering (Lauvås 2004) Line Wittek, Høgskolen i Vestfold 24 Eksamen / Deleksamen Standpunktvurdering Mappevurdering

Ulike referanser for summativ vurdering Line Wittek, Høgskolen i Vestfold 25 Normrelatert Kriteriebasert Ipsativ

Validitet og reliabilitet ved summativ vurdering Johnston 2004) Tradisjonelle prøveformer: positivistisk tradisjon Objektiv måling av det som presteres Nye prøveformer (f. eks. Mappevurdering) krever en annen leitimering (et annet paradigme) Ikke “riktige svar” Tilstrebe validitet og reliabilitet gjennom åpenhet om verdier i vurderingen, kommunikasjon og “trasferability” Studentene må involveres Relasjonelle aspekter Sensorer må diskutere og gjøre eksplisitt sine grunnleggende antakelser Problemet med interraterreliabilitet (kriterier, eksempler, erfaring) Line Wen i Vestfold 26

Eksamens - Karakterens funksjon? Line Wittek, Høgskolen i Vestfold 27 Seleksjon Sertifisering Kontroll (Lauvås og Jakobsen 2004) Legitime krav og behov, kommuniserbart. men: Sammenlignbare størrelser? Rettferdig måling?

Karakterens betydning (Juss, kvinne, ”senior” student, JIK Journeymen 2002) Line Wittek, Høgskolen i Vestfold 28 Hvordan har det vært å være student? Tøft synes jeg, spesielt på jus. Karakterjaget er enormt. Så det har nok vært mer slitsomt enn det jeg tenkte meg på forhånd. For det gjør noe med miljøet også. Sjølv om jeg har skaffet meg gode venner på studiet, så blir det litt sånn tøffere klima for det at alle måler hverandre etter hundredeler rett og slett. Så jeg er glad jeg er ferdig nå.

Karakterens betydning – (Psykologi, kvinne, ”journeymen” prosjekt, P4K, 2002) Line Wittek, Høgskolen i Vestfold 29 Hvilken betydning mener du at karakterene har for å få jobb? Ikke veldig stor. Jeg tror at hvis man ligger på et anstendig nivå, så er det da andre ting som spiller inn, ikke minst hva man har liksom gjort av ting utenom bare det å fullføre et studie­løp. Man har liksom andre interessante erfaringer for å si det sånn. Samtidig så vil jeg jo ikke si at det er noen ulempe, da, å ha gode karakterer. Men jeg tror vel også at en del steder man kommer, så har ikke de man møter i ansettelsessituasjonen tilstrekkelig kunnskap om karakterene til at de egentlig kan vurdere hvorvidt de er spesielt gode eller ikke.

Kriterier for vurdering (Statsvitenskap, mann, ”senior” student, ”journeymen” prosjekt S2M, 2002) Line Wittek, Høgskolen i Vestfold 30 Hva er det som teller for å få gode karakterer i det studiet? Nei, den som visste det. Sånn jeg ser det, så er det nok å kunne anvende modellene på en fornuftig måte og kunne bruke dem til å si noe, ikke substansielt kanskje, men noe litt sånn originalt og så trekke konklusjoner som ikke ligger helt oppi dagen. Og ikke minst så tror jeg det gjelder å kunne se de store sammenhengene. Fordi studiet er lagt opp som relativt isolert fra hverandre de bitene det består av, så har jeg inntrykk av at det premieres høyt om man klarer å integrere dem og vise at man da har kontroll over det meste, og at man ser at her er det mulige sammenhenger i større grad enn det foreleseren egentlig har kanskje klart å presentere.

Formativ vurdering – hvordan? Line Wittek, Høgskolen i Vestfold 31 Kalibrering av inngangsnivå Klargjøring av krav og kriterier Synliggjøring av progresjon Tester og prøver underveis likner hverandre Feedback på egne prestasjoner Gjensidig student- /elev vurdering Selv-vurdering