Ekspertvurdereres erfaringer med de nasjonale prøvene 2004

Presentasjon om: "Ekspertvurdereres erfaringer med de nasjonale prøvene 2004"— Utskrift av presentasjonen:

1 Ekspertvurdereres erfaringer med de nasjonale prøvene 2004

2 Innhold Innhold……………………………………. 2 Forord……………………………………… 3
Undersøkelsesdesign…………………… 4 Informasjon …………………… ……….. 7 Innholdet og utformingen av prøven.….. 8 Skolering………………….….…………… 11 Gjennomføring………………….....…….. 13 Oppsummering - hovedtrekk……………. 23 Vedlegg 1: Spørreskjemaet Vedlegg 2: Tabellrapport

3 Forord TNS Gallup har på oppdrag fra Utdanningsdirektoratet analysert spørreskjema fra direktoratets kartlegging av ekspertvudereres erfaringer med gjennomføringen av de nasjonale prøvene i grunnskolen 2004. Prøvene er gjennomført på 4. og 10. trinn i lesing og matematikk, og i engelsk på 10.trinn. Eksperter er oppnevnt for evaluering alle typer prøver. Undersøkelsen inngår som ledd i Utdanningsdirektoratets oppsummering av erfaringene med de nasjonale prøvene, både faglig og arbeidsvilkårmessig. På sikt skal erfaringene danne grunnlag for å forbedre arbeidet med prøvene, stimulere til pedagogisk bruk av prøvene og sikre gode vilkår for det arbeidet lærere og skoleledere skal utføre. I TNS Gallup har Ole Fr. Ugland vært ansvarlig for analysen, og har skrevet rapporten. Kontaktperson ved Utdanningsdirektoratet har vært Anne Karin Korsvold. Takk til alle ekspertvurderere som har deltatt i undersøkelsen! Oslo,

4 1. Undersøkelsesdesign Undersøkelsen er gjennomført ved postalt spørreskjema, som ble sendt til ekspertvurderere oppnevnt av Utdanningsdirektoratetet. Undersøkelsens spørreskjema tilsvarer i stor grad skjema benyttet i en tilsvarende undersøkelse rettet mot lærere og elever, gjennomført av TNS Gallup våren/sommeren Direktoratet har selv bearbeidet spørreskjemaet til ekspertundersøkelsen, og har stått for utsending og innsamling av skjemaene. Undersøkelsen er rettet mot eksperter over hele landet, totalt 280 stykk, fordelt med 56 eksperter på hver type prøve. Spørreskjema ble sendt ut som vedlegg til e-post. Respondentene selv har tatt utskrift av skjemaet, fylt det ut, og returnert det til Utdanningsdirektoratet. Undersøkelsens feltarbeid ble gjennomført i august 2004. I alt 212 skjema er returnert i utfylt stand, tilsvarende en responsrate på 76% (Tabell 1). Skjemaet inneholder ikke opplysninger ut over type prøve evaluert, som gjøre det mulig å vurdere eventuelle systematiske skjevheter i frafallet. Responsraten er gjennomgående høy, men varierer noe etter type prøve vurdert. Høyest respons finner vi blant eksperter som har vurdert matematikkprøvene på 4. årstrinn, mens responsen er lavest blant dem som har vurdert engelskprøvene på 10.trinn. Tabell 1: Populasjon og utvalg

5 1. Undersøkelsesdesign Ekspertene befinner seg på ulike typer skoler. De fleste som har vurdert prøver på 4.trinn, representerer rene barneskoler, mens en mindre andel er ansatt ved kombinerte skoler. Blant ekspertvurdererne på 10.trinn representerer majoriteten rene ungdomsskoler, men her kommer en noe større andel fra kombinerte skoler enn blant ekspertene på 4.trinn Tabell 2: Eksperter etter skoletype og type prøve vurdert. Antall (uveiet)

6 1. Undersøkelsesdesign Frafall og utvalgsskjevhet
Usikkerheten varierer med både svarfordelingen og med antall respondenter. Jo færre respondenter, og jo mer fordelingen nærmer seg en 50%/50%, jo større blir usikkerheten. Tabell 3: Statistiske usikkerhetsmarginer Tabellen viser f.eks at feilmarginene for hele utvalget av eksperter (212) variere mellom ca +/- 3 til 7 prosentpoeng. Dersom 40 prosent av de 212 ekspertene i utvalget er tilfreds med et aspekt, vil det sanne resultat blant alle landets eksperter med 95 prosent sikkerhet ligge mellom mellom 33 og 47 prosent, dvs (40 prosent – 7 prosentpoeng) og (40 prosent + 7 prosentpoeng). Tilsvarende, dersom resultatet er basert på 43 respondenter (ett fag på ett trinn), ville den sanne verdi ligge mellom +/ prosentpoeng, avhengig av svarfordelingen. Frafall og utvalgsskjevhet Utvalgsskjevheter forårsaket av frafall kan oppstå ved at respondenter med bestemte kjennetegn og bestemt adferd, ikke utgjør en like stor andel blant de som svarer på undersøkelsen, som de gjør i hele populasjonen man ønsker å si noe om. En responsrate så høy som 76% bidrar i seg selv til å redusere sannsynligheten for at utvalget skal ha vesentlige skjevheter. Vi har sett at ekspertvurdererne av engelskprøvene på 10.trinn er svakt underrepresentert, uten at vi har andre kjennetegn tilgjengelig til en nærmere beskrivelse av frafallet. Utvalget er veiet tilsvarende foredlingen i populasjonen etter type prøve. Usikkerhet (feilmarginer) Enhver utvalgsundersøkelse er beheftet med usikkerhet. Tabellen til høyre viser estimerte statistiske usikkerhets-marginer for utvalgsundersøkelser. Estimatene vil være relativt konservative i dette tilfellet, ettersom undersøkelsens respons er så vidt høy blant alle målgruppene.

7 2. Informasjon De fleste eksperter er godt fornøyde med informasjonsvirksomheten i forkant av prøvene. Om lag tre fjerdedeler av ekspertene plasserer seg langs vurderingsskalaens siffer 4-6. Vurderingene er relativt like for de tre vurderingsforholdene: prøvenes formål og gjennomføring, samt informasjon om skolering. Lavest tilfredshet, relativt sett, finner vi for gjennomføringen. Vurderingene er også relativt like for de enkelte prøvene. Lavest gjennomsnittlig score finner vi for informasjon om skolering vedrørende leseprøvene på 4.trinn (3,5). Høyest score finner vi for formålet med leseprøvene på 10.trinn (5,0) Hvordan vurderer du informasjonen du fikk som ekspertvurderer om de nasjonale provene i forkant av gjennomføringen. Hvor god eller dårlig synes du den var når det gjelder prøvenes formål og gjennomføring samt informasjon om skolering : Tabell4: Gjennomsnittlig vurderingsscore (Vet-ikke er utelatt)

8 3. Innholdet og utformingen av prøven
Prøvene gir ofte elevene anledning til å vise sine ferdigheter Ni av ti eksperter mener at elevene fikk vist sine ferdigheter gjennom prøvene – hvorav syv av ti sier i ”noen grad”. I hvilken grad mener du elevene fikk vist sine ferdigheter gjennom prøven? Andelen eksperter som mener prøvene reflekterer Læreplanens mål er noe lavere for leseprøvene på 4.trinn enn for de andre prøvene.

9 3. Innholdet og utformingen av prøven
Prøvene reflekterer ofte Læreplanens mål. Ni av ti eksperter mener at oppgavene i prøven reflekterer sentrale mål i Læreplanen, hvorav syv sier i ”noen grad”. Andelen lærere som mener elevene fikk vist sine ferdigheter er lavere for leseprøvene på 4.trinn og for engelskprøvene på 10.trinn enn for de andre prøvene. I hvilken grad mener du oppgavene i prøven reflekterer sentrale mål i læreplanen?

10 3. Innholdet og utformingen av prøven
Er det noe i selve prøven du mener er uklart? Uklarheter i prøvene i fire av ti tilfeller Fire av ti eksperter oppgir at det er ting i selve prøven som er uklare. Vurderingen varierer med type prøve: Uklarhetene er mest utbredt for matematikkprøvene i 4.klasse (76%) og i lesing 4.klasse (60%), mens de er noe mindre utbredt for matematikk og lesing på 10.trinn (41% og 16% henholdsvis), og lavest for engelskprøvene på 10.trinn (7%).

11 4. Skolering Utbredt nytte av skoleringen
Bare én av ti eksperter mener at de i liten grad har hatt nytte av skoleringen fra fagmiljøene. Seks av ti sier at de i svært stor grad har hatt nytte av skoleringen. Nytten er mest utbredt, relativt sett, for leseprøvene i 10.klasse, og minst utbredt blant eksperter som har vurdert leseprøvene på 4.trinn (her mener to av ti at de i ”liten grad” har hatt nytte av skoleringen) I hvilken grad har du hatt nytte av skolering fra fagmiljøene?

12 4. Skolering Meningene er delte i forhold til hvorvidt skoleringen har gitt den nødvendige kompetanse for å vurdere prøvene. Det er overvekt av enige eksperter for alle påstandene. Enigheten er generelt størst når det gjelder utsagnet om betydningen av skoleringen som vurderingsmal, og tilsvarende lavest når det gjelder innsikt i kompetanseprofilene. De beste erfaringene knytter seg til leseprøvene på 10.trinn når det gjelder nytten som vurderingsmal og opplæringsgrunnlag for lærerne, samt for opplæringsgrunnlaget i matematikkprøvene på 10.trinn. Erfaringene er dårligst når det gjelder innsikt for leseprøvene på 4.trinn. Har skoleringen fra fagmiljøene gitt den nødvendige kompetanse for å gi opplæring til lærerne og for å vurdere prøvene? Angi hvor enig eller uenig du er i de følgende utsagn. Vurderingsskala 1Helt uenig – 6 Helt enig. (Indikatorbetegnelse i tabellen nedenfor i parentes): - ”Skoleringen ga meg grunnlag for å gi opplæring til lærerne (”Opplæringsgrunnlag”) - ”Skoleringen ga meg en mal for vurdering av den aktuelle prøven (”Vurderingsmal”) - ”Skoleringen ga kompetanse i vurderingsarbeid generelt (”Kompetanse”) - ”Skoleringen ga innsikt i kompetanseprofilene og bruken av dem (Innsikt”)

13 5. Gjennomføring Oppgi hvor mange elevbesvarelser du som ekspertvurderer har vurdert for dette faget på dette årstrinnet. Ekspertene har i gjennomsnitt vurdert 113 besvarelser, med en gjennomsnittlig arbeidstid per besvarelse på 26 minutter Vurderingsgrunnlaget er relativt likt mellom de ulike typer prøver, og strekker seg fra laveste 104 matematikkprøver på 10.trinn til høyeste 122 leseprøver på 4.trinn. Ekspartene har gjennomgående brukt lengst tid på matematikkprøvene på 10.trinn (37 minutt) og kortest tid på leseprøvene i 4.klasse (15 minutt). Hvor lang tid brukte du i gjennomsnitt på vurdering og koding per elevbesvarelse?

14 5. Gjennomføring Fylkesmannen har ofte lagt til rette for samarbeid mellom ekspertvurdererne i fylket/regionen Halvparten av ekspertene sier at fylkesmannen i ”svært stor grad” har tilrettelagt for samarbeid. Tre av ti sier at dette gjelder i ”noen grad”. Færre enn én av ti har erfart dette i ”svært liten grad”. I hvilken grad har fylkesmannen lagt til rette for samarbeid mellom ekspertvurdererne i fylket/regionen om de nasjonale prøvene?

15 5. Gjennomføring De fleste eksperter er god tilfredse med fylkesmannens organisering Syv av ti eksperter oppgir at de i svært stor grad er tilfredse med fylkesmannens organisering av kursene som ekspertene har avholdt for lærerne. Bare to av hundre er i svært liten grad tilfredse. I hvilken grad er du fornøyd med fylkesmannens organisering av de kursene du har hatt for lærerne?

16 5. Gjennomføring Excel-arkene har i overveiende grad fungert
Seks-syv av ti ekspertvuderere for matematikkprøvene oppgir at regnearkene har fungert i svært stor grad. To-tre av ti oppgir at de i noen grad har fungert. Andelen som mener de ikke har fungert er noe større på 4.- enn på 10.trinn. I hvilken grad har Excel-arkene fungert etter hensikten?

17 5. Gjennomføring Fagmiljøene har i varierende grad bidratt som problemløser Fire av ti eksperter mener at fagmiljøet hat bidratt til å løse de problemer de har hatt underveis i vurderingsarbeidet, mens tre av ti mener dette liten grad har vært tilfelle. Tre av ti besvarer ikke spørsmålet. Andelen som har hatt støtte er størst for matematikkprøvene på 4.trinn, og minst for leseprøvene på 4.trinn. I hvilken grad har fagmiljøet bidratt til å løse eventuelle problemer du har hatt underveis i vurderingsarbeidet?

18 5. Gjennomføring De fleste eksperter har behov for ytterligere kompetanseheving som ekspertvurderer Åtte av ti eksperter melder at de har behov for ytterligere kompetanseheving. Andelen er relativt lik mellom faginstansene. Har du behov for ytterligere kompetanseheving som ekspertvurderer? Hvis behov for kompetanseheving: På hvilke områder har du behov? Blant eksperter med behov for kompetanseheving er det vurderingsferdigheter som er mest utbredt (seks av ti). Deretter følger trening i fagdidaktikk/metode (fire av ti). Det er relativt få (færre enn én av ti) som melder behov for pedagogisk kunnskap. (Det var mulig å krysse av for flere svaralternativer i dette spørsmålet)

19 5. Gjennomføring Halvparten mener perioden september-november er best for gjennomføring av prøvene Vurderingene varierer imidlertid med type prøve og med klassetrinn. Perioden september-november er hyppigst foretrukket blant dem som vurderer lese- og matematikkprøvene på 10.trinn. Perioden mars-mai er i minst grad foretrukket, om enn i noe større utstrekning for engelskprøvene på 10.trinn og leseprøvene på 4.trinn, enn blant de øvrige prøvene. (Det var mulig å krysse av for flere svaralternativer i dette spørsmålet) Enkelte rektorer har henvendt seg til TNS Gallup under utfylling med merknad om at det best egnede tidspunkt vil kunne variere avhengig av klassetrinn og fag. På hvilket tidspunkt i året mener du det er best å gjennomføre prøvene for at prøveresultatene kan brukes på en god måte i det pedagogiske arbeidet?

20 5. Gjennomføring Prøvene har en viss effekt på skolenes pedagogiske praksis Syv av ti eksperter mener prøvene vil påvirke den pedagogiske praksis ved skolene i ”noen grad”. Samtidig sier én –tre av ti at dette i svært stor grad vil være tilfalle. Bare én av ti mener prøvene vil ha liten eller ingen betydning. Dette gjelder stort sett uavhengig av type prøve. I hvilken grad mener du at prøvene vil påvirke den pedagogiske praksisen ved skolene?

21 5. Gjennomføring Halvparten av ekspertene mener valg av klassetrinn for gjennomføring er riktig Om lag halvparten av ekspertene mener de valgte årstrinn i grunnskolen er riktige for gjennomføringen av prøvene. Synspunktene varierer lite mellom de ulike prøvene. Én av ti eksperter oppgir ikke svar. Blant lærere som ikke mener tidspunktet er riktig, foretrekker de fleste å skyve prøvene på 4.trinn til Og dels 7.trinn. Prøvene på 10.trinn foreslås gjennomført på 6.- , 7.- eller 9.trinn. Synes du at valgte klassetrinn er riktige for gjennomføring av prøvene? Lærere: Hvis valgte klassetrinn ikke er riktige for gjennomføring av prøvene: Hvilket klassetrinn passer best?

22 5. Gjennomføring Delte meninger om nytten av prøvene
Meningene er delte blant ekspertene når det gjelder nytten av prøvene for kvaliteten i grunnopplæringen. Seks av ti sier seg nokså- eller helt enige i at prøvene er nyttige, samtidig som bare én av ti er ”helt-” eller ”nokså” uenig i denne vurderingen. Tre- fire av ti inntar mellomstillingen ”både-og”. Oppfatningene er relativt like på tvers av de ulike prøvevurderingene. Ta stilling til følgende påstand: ”Innføringen av nasjonale prøver er nyttig for kvaliteten i grunnopplæringen”.

23 6. Oppsummering - hovedtrekk
+ - De fleste eksperter er godt fornøyde med informasjonsvirksomheten i forkant av prøvene. Prøvene gir ofte elevene anledning til å vise sine ferdigheter. De fleste mener prøvene reflekterer Læreplanens mål, selv om mange oppgir ”i noen grad”. De fleste eksperter har hatt nytte av forhåndsskoleringen. Fylkesmannen har ofte lagt til rette for samarbeid mellom ekspertvurderere. De fleste eksperter er godt tilfredse med Fylkesmannens organisering av kursene. Excel-arkene har i overveiende grad fungert. Fire av ti oppgir at det er uklarheter i prøvene (særlig utbredt for matematikk- og leseprøvene i 4.klasse). Meningene er delte i forhold til hvorvidt skoleringen har gitt den nødvendige kompetanse for å vurdere prøvene. Fagmiljøene har i varierende grad bidratt som problemløser. Prøvene har en viss effekt på skolenes pedagogiske praksis. Halvparten av ekspertene mener valg av klassetrinn for gjennomføring er riktig. Meningene er delte om nytten av prøvene for kvaliteten i grunnopplæringen. Perioden mars-mai er i minst grad foretrukket for prøvenes gjennomføring.