Institutt for lærerutdanning og skoleforskning PISA og nasjonale prøver i lesing – hva måler de og hvordan kan resultatene brukes? Astrid Roe

Faktorer som påvirker leseforståelsen Avkodingsferdigheter, lesehastighet og flyt – overgang fra å lese for lesetreningens skyld til å lese for å lære og oppleve Engasjement Positiv interesse for leseaktiviteter Forståelse for viktigheten av å lese Lesevaner (hva man faktisk leser i fritiden, og hvor ofte) Overvåking ev egen leseforståelse (metakognisjon) Kjennskap til og bruk av lesestrategier 2

Leseforståelse henger også sammen med elevenes sosiale og kulturelle bakgrunn tidligere leseerfaringer kunnskaper om teksters form og innhold evne til å finne fram til informasjon, tolke, trekke slutninger og reflektere over form og innhold i ulike tekster 3

Kartleggingsprøver (Utdanningsdirektoratet/Lesesenteret) Fokus på de ca 15 -20 % svakeste leserne, ”takeffekt” fordi mange elever klarer alt (lesing og regning). 2. trinn og Vg1 Lesehastighet måles ved at alle oppgaver er tidsbegrenset. Ordavkoding måles også (f.eks ordkjeder) Er ment å brukes på individnivå, men enkelte kommuner publiserer også resultatene

”Kartleggern” Utviklet av Grieg Multimedia i Bergen Norskprøve med blant annet lesetest: Ordavkoding, lesehastighet, skumming, evne til å oppfatte og huske faktainnhold fra teksten (dette kalles leseforståelse i prøven). Elevenes resultater oppgis i form av profiler, der 100% er gjennomsnitt, og 60% er ”kritisk grense” Kan brukes på individnivå

Nasjonale prøver i lesing For alle elever på 5. og 8. trinn Tekster i ulike sjangrer og fra mange fagområder 25 – 30% av oppgavene er åpne, resten er avkryssingsoppgaver En gjennomsnittselev vil klare ca 60% av alle oppgavene

Nasjonale prøver i lesing Resultatene skal gi tilbakemelding på systemnivå og individnivå. Resultatene kan brukes til å måle den enkelte elevs eller den enkelte skoles nivå i relasjon til det totale gjennomsnittet elever, klasser/grupper, skoler, kommuner og fylker kan sammenlikne seg med gjennomsnittet. Resultatene kan si noe om elevers og gruppers relative styrker og svakheter.

For å kunne tolke og bruke resultatene fra en prøve, er det nødvendig å vite hvordan det akutelle fagområdet er definert og operasjonalisert Nasjonale prøver i lesing er i stor grad påvirket av leseprøven i PISA-undersøkelsen

PISA 15-åringers kompetanse i lesing, matematikk og naturfag Undersøkelse hvert tredje år med ulike fokusfag PISA 2000: Lesing (Reading literacy) PISA 2003: Matematikk (Mathematical literacy) PISA 2006: Naturfag (Science literacy) PISA 2009: Lesing PISA 2012: Matematikk . Alle tre fagene med hver gang for å kunne måle endring over tid PISA 2009 - resultater 7. desember 2010

Innhold (forts.) To timers faglig prøve til elevene med oppgaver fra alle tre fagområder Elektronisk lesing for et utvalg elever i 2009 Spørreskjema til elevene Hjemmebakgrunn, holdninger, undervisning, bruk av IKT etc Spørreskjema til skolens ledelse Skole- og klassestørrelse, ressurser, organisering av skolen, antall lærere etc.

Begrensninger: Gir gode data kun på nasjonalt nivå Elevenes svar er anonyme - ingen resultater gis om den enkelte elevs besvarelse Skolens resultat er anonymisert Ingen resultater på kommune- eller fylkesnivå

Er det mulig å sammenlikne land? PISA tar ikke utgangspunkt i landenes læreplan Rammeverkene i de tre fagområdene er utviklet av fageksperter PISA tar ikke hensyn til antall år på skolen, antall undervisningstimer etc Disse faktorene kan i tilfelle forklare forskjeller mellom land

Utvalg Skolene trekkes fra offisiell skolestatistikk 30 (35) elever trekkes fra hver skole Hvilke elever kan fritas Elever med fysisk funksjonshemming Elever med psykisk og/eller emosjonell funksjonshemming Elever med begrensede norskkunnskaper (hatt norskundervisning mindre enn ett år)

Hva innebærer ”Literacy” i PISA? Elevene skal ikke bare være i stand til å reprodusere pensum og faglig innhold, de skal kunne bruke det de har lært og overføre kunnskapen sin til nye situasjoner og fagområder In PISA an expanded concept of literacy is used, it does not only include reading and writing. PISA covers the three domains not merely in terms of whether students can reproduce specific subject matter knowledge, but also whether they can extrapolate from what they have learned and apply their knowledge in new situations. The emphasis is on the mastery of processes, the understanding of concepts and the ability to function in various situations within each domain.

Resultatene presenteres i form av gjennomsnitt for hvert land OECD-gjennomsnittet er standardisert til 500 poeng, ett standardavvik = 100 poeng (ett skoleår utgjør mellom 25 og 30 poeng)

Hvorfor har OECD valgt å teste lesekompetanse? PISA har som mål å kartlegge kompetanser som anses som viktige i et livslangt perspektiv (grunnleggende ferfdigheter) Antall tekster øker stadig, og stadig flere mennesker er forventet å kunne bruke ulike teksttyper på avanserte måter. Det er nødvendig å kunne forstå og reflektere kritisk over det man leser. Kravene til teoretisk utdanning øker, og ingen klarer seg uten lesing.

Metakognisjon og gode lesestrategier påvirker også forståelsen Dårlig leseforståelse skyldes ikke alltid dårlige tekniske leseferdigheter (f.eks dysleksi) Et skjult problem er ofte mangel på bevissthet omkring og overvåking av egen leseforståelse (metakognisjon).

Lesevaner i fritiden har stor påvirkning på elevenes skoleprestasjoner Elevenes leseforståelse er mer avhengig av hvor mye de leser i fritiden og hvilke holdninger de har til lesing enn av sosial bakgrunn. Lærere kan ikke endre elevenes sosiale bakgrunn, men de kan påvirke deres lesevaner – og det har god effekt.

Tre aspekter ved leseforståelse (i PISA, Kunnskapsløftet og nasjonale prøver) Finne fram til og hente ut informasjon (ca 30% av oppgavene) Forstå og tolke (ca 50% av oppgavene) Reflektere og vurdere (ca 20% av oppgavene) Alle de tre aspektene kan spille en større eller mindre rolle i forbindelse med en hvilken som helst leseoppgave, men hver oppgave er definert i forhold til det mest fremtredende aspektet.

Tekstuvalget Kompetansemålene i Kunnskapsløftet gjenspeiles i tekstutvalget Leseprøven kan inneholde faktatekster med natur- eller samfunnsfaglig innhold, instruksjoner, oppskrifter, grafiske framstillinger, argumentetrende tekster osv. Tekstene er i utgangspunktet ikke konstruert for prøven Prøven er ikke omfattende nok til at det er mulig å representere alle fag i en og samme prøve De fagene som tradisjonelt er mest tekstbaserte, som norsk, samfunnsfag, naturfag og RLE, vil forekomme oftere enn kroppsøving, musikk, kunst og håndverk, mat og helse og matematikk.

Validitet – måler prøven det den er ment å måle? Rammeverket gir kriteriene for hva prøven skal måle – sikrer validiteten En leseprøve bør måle hele eller deler av nettopp lesekompetansen, ikke i for stor grad f. eks. faktakunnskap eller skriveferdigheter. Prøven bør ikke passe bedre for én gruppe elever enn for en annen (gutter og jenter). Oppgavene bør ikke være utformet slik at noen elever kan svare riktig uten å ha lest teksten. Men forkunnskaper spiller alltid en rolle

Validitet kan svekkes ved Underrepresentasjon – det vil si at oppgavene til sammen ikke representerer fagområdet på en god måte (f.eks hvis leseprøven inneholder for mye skjønnlitteratur). Irrelevans – det vil si at mange av oppgavene tydelig faller utenfor det angitte fagområdet (f. eks. andre norskfaglige emner enn lesing).

Reliabilitet – er resultatene framkommet på en pålitelig måte? Lesing er et bredt kompetansefelt, derfor bør prøven inneholde visst antall tekster og oppgaver. For å finne ut hvor god reliabiliteten er, blir prøven pilotert på et utvalg elever for å finne ut hvor høyt resultater på enkeltoppgavene samvarierer (korrelerer) seg imellom (Cronbach’s alpha bør være mellom 0,7 og 0,8). Oppgavene må støtte opp om hverandre slik at de i rimelig grad måler det samme. Legger man inn en matematikkoppgave i leseprøven, svekkes sannsynligvis reliabiliteten.

Reliabilitet (forts.) Vi må kunne stole på at elevbesvarelsene blir vurdert på samme måte uansett hvem som vurderer dem (forutsatt at de er kompetente og har fulgt vurderingsveiledningen). Reliabilitet sier da hvor stor overensstemmelse det er mellom to eller flere ulike sensorer som vurderer samme åpne oppgaver. Høy sensorreliabilitet er en utfordring, derfor er det forholdsvis få åpne oppgaver i de nasjonale prøvene (ca 30%).

Resultatene presenteres i form av andel elever på tre kompetansenivåer på 5. trinn og fem kompetansenivåer på 8. trinn For hvert kompetansenivå er det beskrevet generelle trekk ved elevenes lesekompetanse på hver av de tre oppgavetypene Det finnes veiledningsmateriell til lærerne både når det gjelder gjennomføring og bruk av resultatene på www.udir.no

Oppfølging av resultatene – alle læreres ansvar Studer resultatene for hver elev på oppgavenivå, særlig når det gjelder de oppgavene som elevene ikke har fått til. Når elever ikke får poeng på en oppgave, har de enten ikke svart eller svart feil. Hvorfor? Har de ikke forstått oppgaven, har de ikke rukket å svare, eller har de ikke forsøkt? På flervalgsoppgaver kan elevene ha gjettet hva som er riktig Gå gjennom prøven med elevene, forklar hva som karakteriserer de ulike tekstene (sjanger, form, hensikt) og hva de ulike oppgavene måler. Vis elevene hva som skiller godkjente og ikke godkjente svar på de åpne oppgavene Gå gjennom de ulike svaralternativene på flervalgsoppgaver. La elevene selv forsøke å lage flervalgsoppgaver Hvilke fag har tekster som elevene ser ut til å ha problemer med?

Leseprøver kan gi verdifull informasjon til lærerne, men de bør være gode og gjennomtenkte, og det bør være tydelig hva som måles og på hvilken måte. I den daglige undervisningen er den løpende vurderingen helt nødvendig.