Endringer i nasjonale prøver Per Kristian Larsen, Vurdering 2 Takk for invitasjonen. Jeg heter Per Kristian Larsen. Jeg jobber med prøvefeltet i vurderingsavdelingen i Utdanningsdirektoratet. Endringer i nasjonale prøver Per Kristian Larsen, Vurdering 2

Nasjonale prøver har bestått sin prøve 180 000 elever avlegger nasjonale prøver hvert år Lite negative oppslag, ofte lokale gladsaker Slutt på boikott, stor oppslutning og mye engasjement Fagmiljøene er profesjonelle prøveutviklere Mest utprøvde materiell i norsk skole? NASJONALE PRØVER I disse eksamenstider så gjør jeg følgende egenvurdering.

Et unikt verktøy i underveisvurderingen Vi vet hva hver oppgave i prøvene måler elevene viser av ferdigheter i målingen det nasjonale nivået er elevene må lære for å bli dyktigere Vi kan gi elevene riktige tilbakemeldinger for videre læring

Forslag til endringer Likevel vet vi at det særlig i forhold til bruk av prøvene som styringsinformasjon har manglet en vesentlig del. Det har vi nå jobbet mye med å få på plass. Vi gjør derfor en del forbedringer med nasjonale prøver i år og jeg skal beskrive bakgrunnen for det og hva endringene består i. Men det er altså formodentlig et gledens budskap jeg kommer med til dere.

Mer smidig gjennomføring på kortere tid Skolene gjennomfører trinnvis fra og med i år Prøvene berører en langt mer begrenset del av skoleåret 8. og 9. trinn 15. september – 10. oktober 5. trinn 13. oktober – 24. oktober Først en praktisk endring som alle vil sette pris på. Fra høsten av endrer vi gjennomføringen av nasjonale prøver. Skolene skal nå gjennomføre prøvene trinnvis og ikke organisert etter ferdighet eller fag. Det betyr at Nasjonale prøver berører en langt mer begrenset periode av skoleåret for hvert av klassetrinnene som er involvert. Vi mener dette vil gi en bedre og mer smidig gjennomføring for alle.

Måling av trend gir kunnskap om endring i elevenes ferdigheter over tid

Et unikt verktøy i kvalitetsvurderingen Vi har til nå bare kunnet si om vi gjør det relativt bedre eller svakere enn andre det samme året Å sammenlikne seg selv med andre har mindre verdi enn å vurdere endring i egne resultater Ved å måle trend ser vi endring i egne resultater opp mot et fast gjennomsnitt I år er det «år 0» for trend på regning og engelsk Vi kan se om vi det vi gjør i år gir bedre resultater neste år Dere har altså fra nå av mine damer og herrer det eneste verktøyet som forteller deg om du er bedre enn i fjor. I hvert fall det beste.

Modell for måling av trend i prøvene i regning og engelsk 2014 Ordinær prøve 2015 Ankerprøve Ordinær prøve Kohort Hvordan gjør vi det? Og kan vi stole på det? De aller fleste elevene tar i år en vanlig ny nasjonal prøve. Det er det gullegget dere ser her. For å beregne trend får noen elever noen oppgaver som er like hvert år. Det kalles for en ankerprøve. Det er den plomma i egget dere ser her. Hele prøva består av 50 60 oppgaver. Ankeret består av 20. Får eleven en ankerprøve besvarer eleven 30 oppgaver fra den vanlige prøven og 20 oppgaver som er like hvert år.   De 20 oppgavene gjenspeiler hele prøva i hva de måler og hvordan de måler og er valgt med veldig omhu for å være spesielt gode til å gjøre denne jobben. Så det er virkelig plomma i egget. Dette ankeret skal elevene svare på hvert år. Derfor blir de hemmeligholdt. Så sammenlikner vi resultatet fra denne ankerprøva her med den vanlige prøven som resten av elevene har tatt. Til neste år så gjør vi akkurat det samme og da kan vi lenke de to vanlige prøvene sammen ved hjelp av dette ankeret for å beskrive endringen fra 2014 til 2015. Utvalg Ordinær prøve Ankerprøve

De samme oppgavene gis elevene på nytt hvert år Ankerprøven De samme oppgavene gis elevene på nytt hvert år Ankeroppgaver må være robuste for endringer Oppgavene må holdes hemmelig Ankerprøven skal måle det samme som den vanlige prøven Integrert anker belaster sektoren minst mulig 6 % avlegger ankeprøven, tilfeldig utvalg Ankeroppgaver byttes ut over tid for vedlikehold

Forbedret beregningsgrunnlag gir tydeligere bilde for alle Måling av trend gjør at beregningsgrunnlaget for nasjonale prøver må endres. Det kan sammenliknes med at vi har en linse på kameraet vi tar bilde med som vi ikke har stilt i fokus på større avstander. Det fine er at disse endringene kommer alle gode i mer presise resultater. Vi får alle bedre dybdeskarphet i resultatene.

Forbedret beregningsgrunnlag gir tydeligere bilde for alle Til nå er gjennomsnittet av elevenes mestringsnivåer benyttet for å beregne skolens resultat vi mister informasjon vi nå trenger Fra og med i år brukes gjennomsnittet av elevenes poengsummer i stedet skolenes resultater blir mer presise I dag gjenskapes tidligere års fordeling om «alle» blir bedre vil ikke framgangen synes Siden resultatene ikke er identiske, feiltolkes endringer som trender fra og med i år vil det gjennomsnittet være fast slik at vi ser reelle endringer fra år til år Måling av trend gjør at beregningsgrunnlaget for nasjonale prøver må endres. Det kan sammenliknes med at vi har en linse på kameraet vi tar bilde med som vi ikke har stilt i fokus på større avstander. Det fine er at disse endringene kommer alle gode i mer presise resultater. Til nå har vi for det første brukt gjennomsnittet av elevenes mestringsnivåer for å beregne skolens resultat. Det gjør at vi mister informasjon vi nå trenger. For det andre har vi gjenskapt tidligere års fordeling ved en form for normering. Det betyr at om «alle» blir bedre vil ikke framgangen synes. Fra og med i år vil det nasjonale gjennomsnittet være fast slik at vi ser endring fra år til år. Disse endringene vil gi et bedre og klarere bilde for alle. Og bilde er et godt bilde. For det er bilder det er ingen film. Det er en av mange kilder til kunnskap. Og filmen blir best om den lages på skolen med ulike kilder.

For å sammenlikne ulike størrelser trengs en felles standard For elevene gjøres ingen endringer.

Resultatene publiseres på ny skala fra og med 2014 For eleven vil resultatene vises som før i PAS. Poengsummen på prøva og hvilke oppgaver som er riktig og galt besvart (NP01 Grupperapport). Men for de som skal følge opp resultatene på skolen og i kommunen vil man ha bedre muligheter til å få oversikt. Her ser dere en skisse av det skolen kan se om sine resultater. Til venstre ser dere den nye skalaen som har 50 som gjennomsnitt og 10 som standardavvik. Radene i ulike farger viser inndelingen i fem mestringsnivåer. De vil vi beregne grensene for på denne skalaen i år. Deretter vil de ligge fast her hvert år. Det betyr at det blir et godt verktøy for å vurdere endring i for eksempel svakt presterende elever og som kunnskapsgrunnlag for å sette inn tiltak for ulike elevgrupper.   Her ser dere også at det nasjonale gjennomsnittet i år vil være på 50 for alle prøver. For leseprøvene sin del vil fordelingen hvert år fortsette å ligge der inntil prøvene måler trend. For regning og engelsk vil fordelingen hvert år vise reelle endringer.

«When measuring change do not change the measure» Hvorfor ny skala? Et grunnleggende prinsipp: «When measuring change do not change the measure»

Eleven skal få samme resultat uavhengig av prøven Elevenes poengsummer er aldri like fra en prøve til en annen Det vil alltid bli forskjeller i vanskegrad, hvis ikke oppgavene er de samme Vi trenger en felles skala som beskriver samme ferdighet med samme tall, selv om resultatene er fra ulike prøver Dette skjer ved å ekvivalere og lenke prøvene sammen Metoden for dette er IRT (Item Response Theory) Prøvene kan være laget på samme måte med samme rammeverk

Hvordan ser dette ut? To prøver med ulik vanskegrad 40 35 30 25 20 15 10 5 0 80 75 70 65 60 55 50 45 40 35 30 25 20 To prøver med ulik vanskegrad ― samme skår på den standardisert skalaen Ankerprøven er den samme hvert år Et utvalg elever avlegger ankerprøven Prøvene rapporteres på samme skala Tallene beskriver samme ferdighet hver gang Poengsum prøve 1 Skalert skår Poengsum prøve 2

Hva skjer med resultatene? For å ta i bruk en standardisert skala må alle resultatene omregnes Omregningen må bevare prøvens egenskaper og fordeling Prøver er sjelden helt normalfordelt Omregningen kan likevel bevare dette Z skår: elevens poengsum ― gjennomsnittet / spredningen

Fordeling som viser elevenes poengsummer

Fordeling som viser omregnede poengsummer

Hvilken skala er best? Internasjonale undersøkelser som PISA og TIMSS har 500 som gjennomsnitt og 100 som standardavvik Det betyr at 2/3 av alle som tar prøven, får et resultat mellom 400 og 600 Skalaen for prøven bør ha liknende presisjon som selve prøven og en kjent relasjon til den Begrepet skalert skår er ofte brukt Eksempler på skalerte skårer

Hvorfor ikke samme skala som PISA? Våre prøver har f. eks. 48 oppgaver og maks 48 poeng Et gjennomsnitt på 500 og SD på 100 gir inntrykk av høyere presisjon enn prøvene våre har 25 poeng på prøven kan f.eks. tilsvare 550, mens 24 poeng kan tilsvare 535 Lik skala kan gi feilaktige sammenligninger av resultater

Hva er egenskapene til den nye skalaen for nasjonale prøver? har fast gjennomsnitt på 50 og standardavvik på 10 vil si at 2/3 av resultatene er mellom 40 og 60 er en kjent skala med gode egenskaper har en presisjon som passer til prøvene er entydig og unik er forståelig og lett å bruke Z-skår x 10 + 50 To tredeler er mellom 40 og 60. dette kan endre seg over tid

Innføringsplan – teknisk utvikling Prototyp for endringer i PAS feiltestes nå Tiltak for risikohåndtering av endringer er iverksatt Utvikling av nye grafer for visning av trend etc. Workshop med lærere og utviklere avholdt Workshop med skoleeiere og skoleledere, elevorganisasjonen og utdanningsforbundet 21. mai IRT-analyse, fastsetting av mestringsnivåer skjer etter gjennomføring

Innføringsplan – møter med brukere Møte med organisasjonene 28. april Møte med storbynettverket KS 14. mai FM-møter med skoleeiere og skoleledere i alle fylker ( 21. mai –27. nov) Møte med grunnskolefaglig nettverk KS Møte med FM-saksbehandlere for prøvefeltet aug GSI-samling med FM 4. sep Vfl-satsningen pulje 5

Innføringsplan – materiell og veiledning Ny brosjyre til skoleeier/skoleleder om endringene (aug) Ny infografikk/plansje om endringene (aug) Ny informasjonsfilm til publisering av resultatene (nov) En versjon av denne presentasjonen til egen bruk (aug) Skoleeier-/skolelederveiledningen revideres (aug) Lærerveiledningene – tekst om endringer (aug) Foreldrebrosjyre/Flyer-FAU – tekst om endringer (aug) Lærerbrosjyre – tekst om endringer (aug)

Det er lett å se endring

Det er den langsiktige trenden som viser utviklingen

Innspill og spørsmål pkl@udir.no