Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo? Torbjørn Hægeland (SSB), Lars J. Kirkebøen (SSB), Oddbjørn Raaum (Frischsenteret), Kjell G. Salvanes (NHH) UDE, Oslo kommune 5.12.2005

Bakgrunn Internasjonal trend; Åpenhet og resultatoffentlighet om tjenesteproduksjon finansiert ved skatteinntekter Søgnenutvalgets første delrapport: Foreslo Kvalitetsportalen – nå Skoleporten Forslag til en rekke indikatorer Også indikatorer for skolens bidrag til elevenes læring Utredet i 2004 – rapport fra SSB. Beskrevet i temakapittel i Utdanningsspeilet 2005, fra Utdanningsdirektoratet Nå gjort et arbeid for å beregne skolebidragsindikatorer til skoleporten.no. Bakgrunnsrapport publisert 18.11.05 samtidig med at indikatorene ble lagt ut på pålogget del av skoleporten.no. ...Og publisert for Oslo i Aftenposten dagen etter.

Indikatorer for læringsutbytte i Skoleporten Publiseres på skolenivå I stor grad basert på resultater fra ulike eksamener og prøver Ukorrigerte resultatfordelinger/gj.snitt gir et bilde av kunnskaps- og ferdighetsnivået til elevene ved en skole på et gitt tidspunkt endringer over tid ved å sammenlikne flere kull Ambisjonen for Skoleporten går lenger enn å gi et bilde av hva elevene kan Ønsker indikatorer som reflekterer forskjeller i hva skolene tilfører elevene av kunnskaper og ferdigheter, både målt ved karakterer og andre måleinstrumenter

Hva skaper resultatforskjeller mellom skoler?

Hva skaper resultatforskjeller mellom skoler?

Hva skaper resultatforskjeller mellom skoler?

Hva skaper resultatforskjeller mellom skoler?

Dette er et empirisk spørsmål Elevsammensetning og tilfeldig variasjon er faktorer som ligger utenfor skolens kontroll I hvilken grad faktiske resultatforskjeller mellom skoler reflekterer forskjeller i skolens bidrag, avhenger av hvor viktig elevsammensetning og tilfeldig variasjon er for resultatforskjellene. Dette er et empirisk spørsmål Kan bare fastslås ved nøyaktige undersøkelser basert på faktiske resultater for de samme skolene over flere år Pålitelige svar krever detaljert informasjon om elevenes læringsforutsetninger

Hvor viktig er elevsammensetningen? Sterk sammenheng mellom observert familiebakgrunn og skoleprestasjoner Ca. 30 prosent av karakterforskjeller mellom enkeltelever kan tilskrives observerte forskjeller i familiebakgrunn Ingen lovmessighet, 70 prosent skyldes ’andre ting’ (dog herunder uobserverte familiefaktorer). Elever med lik bakgrunn tenderer til å gå på samme skole (boligmarkedet/nærområdeskoler) Resultatforskjeller mellom skoler skyldes i noen grad ulik elevsammensetning Forskjeller i elevgrunnlag kan ikke observeres fullt ut, men registerdata gir svært detaljert informasjon om familiebakgrunn i Norge.

Tilfeldig variasjon Resultater svinger fra år til år Tilfeldigheter knyttet til enkeltelevers prestasjoner Særskilte hendelser som påvirker resultatene på klasse- eller skolenivå Usikkerhet størst for små skoler, men statistisk usikkerhet rundt ethvert gjennomsnitt Tilfeldig variasjon vil gi tendens til en rangering med små skoler i topp og bunn, uten at dette nødvendigvis reflekterer kjennetegn ved skolen => Små skoler vil typisk være ’vinnere’ og ’tapere’ basert på endringer fra et år til det neste.

Svingninger fra år til år (Hægeland m Svingninger fra år til år (Hægeland m.fl, 2004 basert på grunnskolepoeng) 2003-kullet I samme gruppe I den laveste halvparten I den høyeste halvparten 2002-kullet Blant de 10 prosent høyeste 42 % 13 % 87 % Blant de 10 prosent laveste 20 % 78 % 22 %

Alt i alt.... Elevsammensetning og tilfeldig variasjon er viktige forklaringer på resultatforskjeller mellom skoler. Resultatmål som ikke tar hensyn til disse faktorene, er med stor sikkerhet misvisende. Spørsmålet er om man kan finne resultatmål basert på karakterer som bedre reflekterer skolens bidrag til elevenes læring enn ukorrigerte karaktergjennomsnitt.

Skolebidragsindikatorer Skolebidragsindikatorer (SBI) er slike resultatmål; ”Hva ville resultatforskjellene mellom skoler vært dersom de hadde hatt det samme elevgrunnlaget?” SBI er verktøy for bedre å kunne sammenlikne skoler på likt grunnlag ved å ta hensyn til at skolene har ulikt elevgrunnlag, og samtidig redusere betydningen av tilfeldig variasjon Mange mener SBI basert på enkeltelevers utvikling over tid er det ideelle. Stiller store krav til informasjon om elevenes kunnskaper I dag kun mulig med SBI basert på (karakter)nivå for grunnskolen. Videregående byr på flere muligheter. Et viktig budskap i navnet: Indikator. Ikke et eksakt mål på kvalitetsforskjeller eller som gir oss endelige svar på hva som er ’gode/dårlige’ skoler Tallfesting av hvilken betydning elevsammensetningen har. Alle vet det er viktig, men hvor viktig?

Hvordan beregnes skolebidragsindikatorene på skoleporten.no ? Enkelt forklart tenker vi oss at resultatet for hver elev, målt ved for karakterer, kan tilskrives kjønn, alder, familiebakgrunn, skoletilhørighet og uobserverte ("tilfeldige") faktorer. Trekker ut den delen av resultatet som skyldes at elevens familiebakgrunn avviker fra gjennomsnittet blant elevene. Dette gjøres ved hjelp av regresjonsanalyse Vi sitter da igjen med et justert gjennomsnitt for hver enkelt skole. Dette indikerer "skolebidraget" og kan tolkes som det gjennomsnittet vi forventer at skolen ville hatt, dersom elevsammensetningen ved skolen var lik gjennomsnittet i landet. Noen skoler får et tillegg, andre et fradrag. Denne korreksjonen skyldes elevsammensetningen og har ingenting med SBI å gjøre.

Hva slags elevkjennetegn tar vi hensyn til? Elevens kjønn og alder (år, kvartal) Foreldrenes utdanning   Familiestruktur    Innvandringsbakgrunn      Familieøkonomi Trygdeforhold

Hvordan håndteres tilfeldig variasjon? Ser på to år under ett (2002-03 og 2003-04) Minst 20 elevobservasjoner for hvert enkelt år Dette reduserer usikkerheten til skolebidragsindikatorene I tillegg: Rapporterer mål på usikkerheten ved hjelp av konfidensintervall og ’tommelfinger-regler’ ved sammenlikninger ( veiledning i ”hvor store forskjellene må være for å kunne avvise at de skyldes tilfeldigheter”) mer om dette i løpet av et par minutter!

For hvilke resultatmål beregnes skolebidragsindikatorene? Grunnskolepoeng Karakterer i basisfag Norsk hovedmål, matematikk og engelsk Skriftlig eksamenskarakter Tar hensyn til at skoler blir trukket ut i ulike fag Skolebidragsindikatorer for ca. 600 enkeltskoler

Grunnskolepoeng på skolenivå

Differanse SBI-skolegjennomsnitt, grunnskolepoeng

Sammenheng mellom SBI og skolegjennomsnitt, grunnskolepoeng

Usikkerhet ved indikatorene Hvorfor usikkerhet når datamaterialet omfatter alle elevene? Ute etter hva skolen vanligvis bidrag med til elevenes læring, ikke bare hva som skjedde ’akkurat i år’ Tilfeldig variasjon en del av enhver observasjon (både på skole- og elevnivå) Bidragene fra familiebakgrunn er estimert og beheftet med en viss usikkerhet Men flere uavhengige observasjoner gir lavere usikkerhet Skoleporten: Rapporterer usikkerhet i form av konfidensintervall Også veiledning i når en forskjell er statistisk signifikant? Tommelfingerregler

Tommelfinger-regler; Når er forskjeller mellom skoler så store at de kan avvises som tilfeldige? (Oslo-tall)

Prosjekt for UDE, Oslo kommune. Bakgrunn Skolebidragsindikatorene beregnet for hele landet En underliggende forutsetning om at sammenhengene mellom ulike familiebakgrunnsvariable og individuelle resultater ikke varierer med hvor i landet elevene går på skole. Ikke opplagt riktig Karakterforskjeller mellom elever fra ulike sosioøkonomiske grupper kan variere mellom bykommuner og spredtbygde strøk. Hvis disse sammenhengene varierer sterkt mellom regioner, vil skolebidragsindikatorer basert på beregninger for hele landet ikke nødvendigvis være et like treffsikkert verktøy til sammenligning av skoler innenfor en enkelt region. Må studeres ved hjelp av data, kan ikke avgjøres uten å gjøre detaljerte beregninger!

Oslo-rapportens fokus Er det store forskjeller i sammenhengene mellom ulike familiebakgrunnsvariable og individuelle skoleresultater mellom Oslo og landet som helhet? Hvis ja, ’spiller det noen rolle?’, eller Gir skolebidragsindikatorer beregnet for Oslo-skoler separat et annet bilde av skolenes bidrag til elevenes læring enn indikatorer for de samme skolene beregnet på grunnlag av et nasjonalt datasett?

Familiebakgrunn og skoleprestasjoner – forskjell Oslo og resten av landet? I utgangspunktet grunn til å tro at de grunnleggende sammenhengene er noenlunde like i Oslo og resten av landet Men størrelsen på effektene kan tenkes å variere Også forskjeller i sammensetning innad i grupper slik vi definerer dem Utdanning Inntekt Innvandringsbakgrunn Konsekvenser for skolebidragsindikatorene? Først og fremst dersom vi finner ulike effekter knyttet til kjennetegn der variasjonen mellom skoler er stor

Forskjeller i grunnskolepoeng etter foreldrenes utdanning

Gjennomsnittsforskjeller mellom elever med ulik bakgrunn (modellberegnet)

Skolegjennomsnitt, grunnskolepoeng

Skolegjennomsnitt, karakterer i basisfag

Skolegjennomsnitt, skriftlig eksamen

Skolebidragsindikatorer - grunnskolepoeng

Skolebidragsindikatorer – skriftlig eksamen

Sammenheng skolebidragsindikator – skolegjennomsnitt (hele landet)

Sammenheng skolebidragsindikator – skolegjennomsnitt (Oslo)

Skolebidragsindikatorer for Oslo Skolebidragsindikatorer for Oslo. Estimert sammen med resten av landet eller separat

Bevegelser opp og ned i fordelingen, grunnskolepoeng

Bevegelser opp og ned i fordelingen, skriftlig eksamen

Resultater for utvalgte Oslo-skoler (basert på grunnskolepoeng)

Resultater for utvalgte Oslo-skoler (basert på karakterer i basisfag)

Oppsummering Oslo-rapport Variasjonen i elevsammensetningen mellom skolene i Oslo stor, og langt større enn i resten av landet. Dette medfører at skolebidragsindikatorene for Osloskolene gir vesentlig tilleggsinformasjon - i enda større grad enn for resten av landet - om skolenes bidrag til elevenes læring, utover hva ujusterte karakterforskjeller forteller oss. Eller; ujusterte karakterforskjeller sier svært lite om skolens bidrag i Oslo Selv om forskjellene i elevsammensetning er større i Oslo, er sammenhengen mellom familiebakgrunn og elevprestasjoner ikke vesentlig forskjellig fra resten av landet. => Skolebidragsindikatorene for Oslo er ikke særlig følsomme for om de beregnes for Osloskoler separat eller hentes fra en nasjonal beregning.

Andre interessante funn og problemstillinger For grunnskolepoeng ligger Oslo høyt i fordelingen av skolebidragsindikatorer – men ikke for basisfag eller eksamen Snillere karaktergiving i Oslo – særlig i fag uten ekstern sensur? Konsekvenser av (det tidligere) inntakssystemet for videregående skoler?

Hva sier skolebidragsindikatorene, og hva kan de brukes til? Et hjelpemiddel til vurdering og utvikling av skoler, ikke til måling av enkelte elever! Men kun ett av mange verktøy for å kunne kvalitetssikre og forbedre læringsutbyttet i skolen Hjelp til arbeidet med å identifisere ”god praksis” (Hva dette skyldes, er neste skritt) Skoler kan gi gode bidrag til læring uten at de utpeker seg på karakterstatistikken, fordi de har et mer krevende elevgrunnlag. Gjør det lettere å identifisere skoler som ikke utnytter elevenes potensial Lettere å tolke endringer over tid Kan motivere til forbedring: Skolene vil kunne se at det hjelper Vanskeligere å bortforklare dårlige (og gode) resultater med elevgrunnlaget

Hva sier skolebidragsindikatorer, og hva kan de brukes til? (forts.) Overvåke og tolke spredning i resultater mellom skoler i Norge Korreksjonen kan endre seg over tid Korreksjonen avspeiler forskjeller mellom grupper der og da, ikke en fast ’mal’ Dersom en skole forbedrer seg, skjerper dette ”kravene” til skoler med tilsvarende elevgrunnlag. Både ujusterte resultater og skolebidragsindikatorer Dårlige karakterer fremdeles et problem selv om skolebidraget er høyt. ’Alarmen’ bør primært stilles inn på ujusterte resultater Elevenes videre karriere i utdanning/arbeidsliv og kvalitet på sosiale relasjoner bestemmes ikke av familiebakgrunnskorrigerte karakterer!

Herfra og ut skal ikke brukes

Konklusjoner Skolebidragsindikatorene korrigerer for viktige faktorer som ikke kan tilskrives skolen, - men gjenstår likevel mulighet for uobserverte forskjeller i elevgrunnlag. Skolebidragsindikatorene løser ikke alle problemer knyttet til tolkning av forskjeller mellom skoler De har likevel høy informasjonsverdi og kan gi konstruktive bidrag til debatten om skolekvalitet Skolebidragsindikatorene er et viktig - men langt fra siste - skritt videre i arbeidet med å utvikle måleinstrumenter for kvalitetsvurdering av norske skoler

Differanse skolebidrag- skolegjennomnsitt (grunnskolepoeng)

”Forklaringskraft” for grupper av variable, dropper denne her/for teknisk??

Parvis forskjell i SBI mellom to skoler Grunnskolepoeng Små forskjeller < 1 Prosent av alle par 40,2 Andel signifikante 0,000   Store forskjeller > 3 12,6 0,999 Middels forskjeller 1 - 3 47,2 0,429