Er det forskjeller i skolers og kommuners bidrag til elevenes læring i grunnskolen? – en kvantitativ studie Kjartan Steffensen, Seniorrådgiver ved seksjon for utdanningsstatistikk

Plan for presentasjonen… Bakgrunn, hva er en skole- og kommunebidragsindikator? Datagrunnlag og vår modell for å beregne skole- og kommunebidrag Håndtering av små skoler og kommuner Håndtering av nyopprettede/ nedlagte/sammenslåtte skoler Utvalgte eksempler på tolkning av indikatorene Spørsmål kan sendes underveis til: webinar@ks.no webinar@ks.no

Hvordan kan vi bruke eksisterende data for å lage gode mål på skolers bidrag til elevenes læring? Foto: Lucélia Ribeiro

Utgangspunkt: Hva har betydning for elevens resultater? Skolen Lærere Ressurser Klasserom Klima Miljøfaktorer … Elevens forutsetninger Tidligere ferdigheter Foreldrenes utdanningsnivå Foreldrenes inntekt Bosted Kjønn Innvandringsbakgrunn Tilfeldigheter Dårlig dag på eksamen Støyende bygningsarbeidere på eksamensdagen Tilfeldig drilling av temaet de blir testet på eksamen Vi må ta hensyn til at elevenes forutsetninger ikke er like på tvers av skoler og kommuner! webinar@ks.no

Skolebidragsindikatorer… Gir en indikasjon … Ikke uttømmende mål … på en gitt skoles … supplerer gjennomsnittlige resultat for nasjonale prøver og eksamen som allerede publiseres på skolenivå i dag … bidrag til elevenes resultater Tar hensyn til elevens forutsetninger, forsøker å isolere hva skolen har bidratt med Tolkning: Hvilket resultat ville en skole ha fått, dersom elevene ved skolen var gjennomsnittlige med tanke på de elevkjennetegnene som er inkludert i beregningen? webinar@ks.no

Typer skolebidragsindikatorer – hvordan kunne elever vært «gjennomsnittlige»?… «Tverrsnittsindikatorer»: Tar hensyn til forskjeller i foreldres utdanning mm. Småskoletrinnet (1.-4. trinn) Resultatet til elevene ved skolen/kommunen målt ved nasjonale prøver 5. trinn justeres for elevenes familiebakgrunn. «Value-added»: Tar hensyn til elevenes tidligere resultater i tillegg til familiebakgrunn Måler læring over en periode I praksis: Tidligere resultater fanger opp bl.a. foreldres utdanning, elevenes motivasjon og evner mm. Mellomtrinnet(5.–7. trinn) Resultatet til elevene ved skolen/kommunen målt ved nasjonale prøver 8. trinn justeres for elevenes tidligere resultater fra nasjonale prøver 5. trinn + deres familiebakgrunn. Ungdomstrinnet (8.–10.trinn) Resultatet til elevene ved skolen/kommunen målt ved skriftlig eksamen 10. trinn justeres for elevenes tidligere resultater fra nasjonale prøver 8. trinn + deres familiebakgrunn. webinar@ks.no

Kommunebidragsindikatorer Gir et samlemål på bidraget til elevenes læring i kommunen Beregnet på en tilsvarende måte som skolebidragsindikatorene Kan leses som gjennomsnittet av skolebidragene til de offentlige skolene i kommunen, vektet etter antall elever webinar@ks.no

Et bedre grunnlag for sammenligning Grunnlag for riktigere sammenligning av: Skolers bidrag til elevenes grunnleggende ferdigheter slik disse måles ved nasjonale prøver (småskole- og mellomtrinn) Skoler bidrag til elevenes læring i det skriftlige eksamensfaget elevene kommer opp i (ungdomstrinn) Skolebidragsindikatorene gir ikke i seg selv svar på hvorfor en skole har et høyt eller lavt bidrag webinar@ks.no

Skole-/kommunebidrag og ujusterte resultater Ujusterte resultater: Elevene på skolen eller i kommunen sine faktiske resultater på nasjonale prøver eller eksamen. Gjennomsnitt publiseres på skole- og kommunenivå allerede. Tar ikke hensyn til forskjeller i elevgrunnlag. Vi bryr oss om begge: Ujusterte resultater: Det som betyr noe for den enkelte elev Skole- kommunebidrag: Forskjellen skoler (og skoleeiere) utgjør Ujustert resultat lavt Høyt Skolebidrag Mer av det samme? Bra! (relativt) Lavt Gjør noe annet? webinar@ks.no

Bygger videre på tidligere arbeid med skolebidragsindikatorer i Norge Utredning Skolebidragsindikatorer: SSB rapport 2004/11 Flere senere utredninger: Oslo/nasjonalt, grunnskole/VG, tverrsnitt/value-added Publiserte indikatorer: Oslo-skoler: Flere omganger Videregående (SØF): 2016 Rapporten som publiseres 19. januar tar analyser av skolebidrag i Norge noen steg videre: For første gang blir det publisert skolebidragsindikatorer for grunnskolen på skolenivå for hele landet For første gang er det undersøkt om indikatorer som tar hensyn til elevenes tidligere resultater er stabile over tid. Dette har vi kunnet gjøre siden vi begynner å få nasjonale prøvedata ganske langt tilbake i tid For første gang er det beregnet kommunebidragsindikatorer for kommuner i Norge webinar@ks.no

Datagrunnlag og modell Foto: Colourbox

Data gir grunnlag for å beregne indikatorer f.o.m. 2010 Småskoletrinnet Mellomtrinnet Ungdomstrinnet Elever som avla nasjonale prøver 5. trinn f.o.m. høsten 2010 t.o.m. høsten 2015 Elever som avla nasjonale prøver 8. trinn f.o.m. høsten 2010 t.o.m. høsten 2015 Elever som avla skriftlig eksamen 10. trinn f.o.m. våren 2010 t.o.m. våren 2015 De samme elevenes resultater på nasjonale prøver 5. trinn altså f.o.m. høsten 2007 De samme elevenes resultater på nasjonale prøver 8. trinn altså f.o.m. høsten 2007 Registeropplysninger om foreldres utdanningsnivå, husholdningsinntekt og elevenes innvandringsbakgrunn webinar@ks.no

Hvem er ikke tatt med i beregningene? Skoler hvor mer enn 4 av 10 elever har spesialundervisning Barnetrinnet: Elever som ikke har deltatt på noen av de tre prøvene ved NP 5. trinn Mellomtrinnet: Elever som ikke har deltatt på noen av de tre prøvene ved NP 8. trinn Ungdomstrinnet: Elever som ikke har avlagt skriftlig eksamen 10. trinn I beregningen av kommunebidrag er elever ved private skoler i kommunen ikke tatt med webinar@ks.no

webinar@ks.no

Indikatorene presenteres på en skala fra 1 til 6 Skole- og kommunebidragene presenteres i rapporten på en felles poengskala fra 1-6 på alle trinn Gjennomsnittet for hele landet er satt til 3,4 for hver sammenslåtte årgang Over tid viser indikatorene ikke absolutt utvikling i skoler og kommuners bidrag, men utvikling relativt til gjennomsnittet for hele landet Gjennomsnittlig resultat som ikke tar hensyn til elevsammensetning («ujustert resultat») og tidligere resultat presenteres også på en tilsvarende skala skolenavn Kommune Offentlig/ privat Tidligere resultater, NP 5. trinn (skala 1-6) Resultater nasjonale prøver 8. trinn, ujustert (skala 1-6)   Skolebidrag og usikkerhetsintervall (skala 1-6) Skole A 0301 Oslo O 3,5 3,4 (3,3-3,5) webinar@ks.no

Håndtering av små skoler og kommuner Foto: Ximonic (Simo Räsänen)

Utfordring: I Norge er det mange små skoler og kommuner Tilfeldigheter kan i stor grad påvirke resultater ved små skoler/kommuner Høy statistisk usikkerhet Liten nytteverdi, fare for feiltolkning Personvern til lærere og elever Håndtering: To og to sammenslåtte årganger 2010+2011, 2012+2013, 2014+2015 Benytter et gjennomsnitt av nasjonale prøver for alle tre emner Publiseres ikke for skoler/kommuner med <20 elever med prøveresultater Indikatorene publiseres med usikkerhetsintervall og kun én desimal webinar@ks.no

Mange skoler utelates, men få elever Sammenslått årgang 2014+2015 Antall kommuner som er inkludert i publisering av kommunebidrag Antall kommuner som utelates fra publisering av kommunebidrag p.g.a. få elever Antall skoler som er inkludert i publisering av skolebidrag Antall skoler som utelates fra publisering av skolebidrag p.g.a. få elever Småskoletrinnet 396 (112 092 elever) 33 (439 elever) 1604 (108 850 elever) 664 (7085 elever) Mellomtrinnet 402 (111 873 elever) 27 (390 elever) 1632 (108 798 elever) 652 (6675 elever) Ungdomstrinnet 403 (111 793 elever) 24 (326 elever) 884 (112 873 elever) 225 (2065 elever) webinar@ks.no

Håndtering av endringer i skolestruktur Hvordan håndteres nyopprettede skoler? Inkluderes i publiseringen, men merkes: Eksempel: Skolebidraget 2014+2015 til skoler som er opprettet i 2013 eller senere er markert med NY fordi elevene ved skolen har hatt deler av opplæringen på en annen skole. Skoler som opprettes i løpet av en sammenslått årgang tas ikke med i publisering for den sammenslåtte årgangen den ble opprettet Eksempel: Skolebidraget publiseres ikke for den sammenslåtte årgangen 2014+2015 for en skole som startet opp i skoleåret som endte i 2015 Tilsvarende for skoler som er lagt ned i løpet av en sammenslått årgang Hvordan håndteres sammenslåinger av skoler? Identifisering av skoler er basert på organisasjonsnummer Vi har ikke slått sammen skoler tilbake i tid Dersom to skoler slås sammen med en eksisterende skole, vil skolebidrag for årganger før sammenslåingen dermed bli presentert separat for hver av de tre skolene. webinar@ks.no

Utvalgte eksempler

Hvordan kan indikatorene brukes? Har skolen/kommunen et bidrag over/under landsgjennomsnittet på 3,4? Har skole A et høyere skolebidrag enn skole B? Hvordan er utviklingen over tid? Har skolen sett en positiv eller negativ utvikling i skolebidraget sammenlignet med gjennomsnittet for hele landet? Hvordan endrer bildet seg når vi går fra å se på «ujustert resultat» til skolebidrag? …men… Ta i betraktning usikkerhetsintervall Husk at skolebidragsindikatorene fanger opp en viktig, men begrenset del av skolens formål og virkeområde webinar@ks.no

Eksempel skolebidrag småskoletrinnet webinar@ks.no

Eksempel skolebidrag mellomtrinnet webinar@ks.no

Eksempel kommunebidrag ungdomstrinnet webinar@ks.no

Takk for oppmerksomheten Spørsmål?