Vurdering og læring - hva kan vi lære av internasjonale komparative studier?

Litt historie OECD-studie fra 80 tallet om at Norge har dårlig system for å vurdere kvaliteten på opplæringen «PISA-sjokk 2001» (resultater fra 2000) Aktiv og økende deltakelse i en rekke internasjonale studier på læringsutbytte siden 2000 Innføring av målstyrte læreplaner og grunnleggende ferdigheter definert på tvers av fagene Nasjonalt kvalitetsystem med fokus på målstyring og resultatoppfølging Vekt på vurderingskompetanse i skolene

Noen kritiske påstander og kommentarer PISA og øvrige undersøkelser måler bare enkelte ferdigheter – hvor relevant er det? Rangeringene tar oppmerksomheten bort fra viktige pedagogiske spørsmål? Resultatene fra undersøkelsene er tilfeldige og ikke pålitelige? Norsk utdanningspolitkk skal ikke styres av OECD?

Hvorfor internasjonale studier? Mulighet for å relatere norsk utdanning til andre land Måling av trender og utviklingstrekk Innspill til nasjonal politikkutforming Kompetansebyggende Stort datagrunnlag for videre forskning og analyser

Norsk deltakelse i internasjonale studier Fagområde Målgruppe År Kommentar OECD:   PISA Lesing, matematikk, naturfag + problemløsning 15-åringer 2015, 2018 Trendstudie, hvert 3. år. Digitalt fra 2015 TALIS Skoleledelse og læreres arbeidsmiljø Lærere og skoleledere, ISCED 2 2018 Survey gjennomføres digitalt IEA: TIMSS Matematikk og naturfag Trinn (4),5,(8),9 2015, 2019 Trendstudie, hvert 4. år Gjøres digital i 2019 TIMSS Advanced Matematikk og fysikk VG3 2015 PIRLS Lesing, på papir og elektronisk (ePIRLS) Trinn (4), 5 2016, 2021 Trendstudie, hvert 5. år ICCS Demokrati og medborgerskap Trinn 9 2016 Trendstudie, ny runde ikke avklart

Kjennetegn ved de ulike studiene IEA studiene Trinn og klassebasert, måler utbytte av skolegang Knyttet til læreplaner Bakgrunnsskjema til elever, lærere, rektorer og foreldre Knytter læringsresultater til undervisningsmåter Trend-studier OECD – PISA Aldersbasert Knyttet til anvendte kompetanser for arbeid og studier Bakgrunnsskjema til elever og rektorer Frivillige moduler Trend-studie Alle studiene bygger på matrix-sampling og samme type test-teori, men gir ulike analysemuligheter. Detaljerte rammeverk utarbeides for alle studier og fagområder. IEA studiene går dypere ned i læreplaner, fag og undervisningsmåter, mens PISA gir bedre systeminformasjon

Norsk skole – sett utenfra Et verdigrunnlag med vekt på likhet og likeverd Høy ressursinnsats, men resultater rundt gjennomsnittet Tegn til bedring etter flere år med nedgang Skolekultur preget av positive relasjoner, tillit og tilhørighet Store individuelle forskjeller, men små skoleforskjeller Svak ledelseskultur – og svak tilbakemeldingskultur Smalt spekter av læringsstrategier, manglende oppfølging og fordypning Tillitskultur Verdier knyttet til likhet og likeverd Manglende fordypning Dette bekreftes av EVA-KL, SMUL og FIRE

Kunnskapsgrunnlaget Nasjonale prøver og eksamen Elev- og lærlingeundersøkelsen Observasjoner og undersøkelser Internasjonale undersøkelser Forskning og evalueringsrapporter Data i Skoleporten Tilsynsrapporter

Problemstillinger og utviklingstrekk Representativitet og test-tretthet Overgang til computerbasert testing – hva betyr det for kostnader, trend, pålitelighet Hva med adaptiv testing? Korrelasjoner vs. Årsakssammenhenger Utfordring: Ikke-kognitive ferdigheter Det du tester er det du måler ….. “When measuring change, don’t change the measure”!

Hva vi måler er hva vi får? – Har vi de riktige måleinstrumentene? Lesing, matematikk og naturfag (PISA, TIMSS, PIRLS) ICT (PISA, ICIL) Demokrati og medborgerskap (ICCS) Samarbeid og problemløsning? Evne til å kommunisere, resonnere og trekke slutninger? Hva med språkkompetanse, kreative fag, sport, ….. ??? There are some challenges connected to measuring necessary skills. While skills such as creativity, collaboration, sosial skills and so on are extremely important, they are also difficult to measure.

Analyser og videre forskning De nasjonale midlene til de internasjonale studiene dekker både gjennomføring av studiene og midler til videre forskning og analyser Behov for en vurdering av hvordan kvalitative studier kan supplere de internasjonale studiene

Rangering eller grunnlag for utvikling? Samlet gir storskala studiene et godt dokumentert bilde av elevenes kompetanse og ferdigheter I de fagene som blir testet Studiene gir også bakgrunnsinformasjon om organisering og gjennomføring av undervisningen Enda større vekt bør legges på å få fram sammenhengen mellom undervisning og læring Det bør vurderes kvalitative studier som kan følge surveyene og gi bedre grunnlag for å forklare sammenhenger mellom undervisning og læring Lærere og lærerutdanningen bør i større grad defineres som målgruppe for rapporter basert på studiene