Ny skriveopplæring og nye nasjonale skriveprøver I Norge: den vitenskapelige bakgrunnen Kjell Lars Berge, professor i tekstvitenskap, Universitetet i Oslo k.l.berge@iln.uio.no

Disposisjon Den internasjonale forankringen: OECD/DeSeCo Skriveprøvene i Norge: de formelle vedtakene Skrivekonstruktet: begrepsvaliditeten definert Reliabilitet i skriveprøver – en klassisk utfordring Vurderingsredskapene: kontroll med innholdsvaliditeten Ekspertvurdererne: arbeidet med skolering Normprosjektet: vurderingsforskning Vurdering i skolen: skolens oppfølgingsarbeid Institutt for lingvistiske og nordiske studier (ILN)

Den internasjonale forankringen: DeSeCo Situasjonen på arbeidsmarkedet i postindustrielle land De økende kravene til avansert skrift-/skrivekyndighet (”literacy” - lesing og skriving) i alle sektorer av samfunnet Utdanningssystemets nye interesse for skrive- og leseopplæring som svar på den sterke skriftliggjøringen av samfunnet OECDs DeSeCo-dokument understreker ”literacy” som kjernen i kompetanser, såkalte ”critical competencies PISA + IEA-undersøkelser + ulike lokale løsninger, f.eks. asTTle-systemet i New Zealand Institutt for lingvistiske og nordiske studier (ILN)

Skriveprøvene i Norge: de formelle vedtakene Vedtak i Stortinget 2006 Innføring av grunnleggende ferdigheter som grunnlag for læring i alle fag: Kunnskapsløftet (K06) Innføring av nasjonale prøver i noen grunnleggende ferdigheter Nasjonale prøver i skriving er utvalgsprøver (oppr. populasjonsprøver) Nasjonale utvalgsprøver i skriving er plassert ved inngangen til 5. og 8. trinn, også foreslått 10. og 11. trinn Skriveprøvene gjennom fra og med høsten 2012 (er pilotert i to år) Skriveprøver ble første gang gitt 2005 Institutt for lingvistiske og nordiske studier (ILN)

Skriveprøver i Norge: oppdraget fra departementet UTVALGSPRØVER I SKRIVING Prøvene skal gi informasjon om elevenes grunnleggende ferdigheter i skriving på nasjonalt nivå og være til støtte for lærerne i underveisvurdering. Dette innebærer at prøvene først gjennomføres på et nasjonalt representativt utvalg elever for å etablere et nasjonalt nivå/standarder som lokalt nivå kan vurdere seg opp mot. Deretter utvikles det et veiledningsmateriell basert på vurderte elevsvar fra utvalget som sammen med prøvene skal gjøres tilgjengelig for bruk ved alle skoler. Når veiledningsmateriellet foreligger skal prøvene kunne avholdes når skolen eller lærene selv ønsker det. Det skal utvikles utvalgsprøver i skriving for gjennomføring om høsten på 5. og 8. trinn basert på kompetansemål for 4. og 7. trinn. Institutt for lingvistiske og nordiske studier (ILN)

Skriveprøver: forholdet prøving og undervisning Skriveprøvene er formative og læringsstøttende: De legger til rette for skriveopplæring fra 5.-8.trinn og 8.-10.trinn. Dekker hele skoleløpet i grunnskolen fra 6 til 16 år Skriveprøvene er summative: De undersøker om målene etter 4 og 7 skriveopplæring er nådd Erfaringene fra skriveprøvene skal være grunnlaget for utvikling av veiledningsmateriell og læremidler i skriveopplæringen Ansvaret for prøver og utvikling av veiledningsmateriell har Skrivesenteret Institutt for lingvistiske og nordiske studier (ILN)

Skrivekonstruktet: begrepsvaliditeten definert Skrivehjulet: handling + formål = funksjon/intensjonalitet (Mukarovsky 1978, Berge 1990) Skrivehandlinger Å holde kontakt med andre medmennesker Å overbevise andre medmennesker Å reflektere over et eller annet Å beskrive et eller annet Å utforske et eller annet Å forestille seg et eller annet Skriveformål: et eksempel ”Å reflektere over et eller annet (HANDLING) for på den måten å utvikle kunnskap (FORMÅL)” Institutt for lingvistiske og nordiske studier (ILN)

Institutt for lingvistiske og nordiske studier (ILN)

Skrivekonstruktet: begrepsvaliditeten definert Den skriftlige medieringen Vurderingsområder (jf Diderich, French, Carlton 1961, IEA 1988, 1992): Tekstnivåer: Kommunikasjon Innhold Tekststruktur Språkbruk Språknivåer: Rettskrivning, formverk Tegnsetting Semiotisk mediering: Skriveteknologier (Vygotskij 1962, 1972, Wertsch 1991) Institutt for lingvistiske og nordiske studier (ILN)

Skrivekonstruktet: begrepsvaliditeten definert Situasjonskontekster og tekster (Berge 1990, Berge 2008) skriving som hendelse og ytring Kulturkontekster og genrer (Halliday 1998) skriving i fagene, skriving i offentlighet skriving privat Institutt for lingvistiske og nordiske studier (ILN)

Skrivekonstruktet: begrepsvaliditeten definert Oppgavekonstruksjon i Skriveprøven Skrivehandlingen Skriveformålet Leseren Tema knyttet til fagenes kompetansemål (to eller tre fag) Kontekstmarkering valgfritt Ikke genre Utvikles i samarbeid med erfarne skrivelærere Institutt for lingvistiske og nordiske studier (ILN)

Reliabilitet i skriveprøver – en klassisk utfordring Kilde Korrelasjon Tekstkategori Sensorer Westman 1974 .27 Yrkesskribenter Diderich, French, Carlton .31 Elevtekster Personer med variert bakgrunn Berge 1996 .56 Eksamen vg.skole Utvalgt gruppe lærere Larsson 1984, Eneskär 1990 .62 Klassetrinn 4-11 Lærere KAL 2005 .69 10.trinn IEA 1988 .87 Mønstertekster Skolerte bedømmere Institutt for lingvistiske og nordiske studier (ILN)

Reliabilitet i skriveprøver: skriveprøvene 2005 Korrelasjon Delferdighet med lavest korrelasjon Delferdighet med høyest korrelasjon 4. trinn .31 (fagtekst) .45 (fortelling) Grafisk utforming (begge oppgaver) Komposisjon (fagtekst) Innhold (fortelling) 7. trinn .49 (fagtekst) .54 (fortelling) Innhold (fagtekst) Tegnsetting (fortelling) Institutt for lingvistiske og nordiske studier (ILN)

Reliabilitet i skriveprøver – en klassisk utfordring ”Erfaringene fra de nasjonale skriveprøvene i 2005 viser altså at det er stor uenighet blant norske lærere om hva man kan forvente av norske skoleelevers skriveprestasjoner på de aktuelle klassetrinnene. Internaliserte og intersubjektive felles kompetansemål for skriving generelt og skriveutviklingens deldimensjoner er svært dårlig utviklet blant norske lærere. Norske skolelever vil altså kunne møte ganske forskjellige forventninger til hvilke mål de skal nå, i skriveopplæringen blant ulike lærere. Norske lærere utgjør ikke noe tolkningsfellesskap med felles normer og kompetansemål på tvers av fag. Tvert i mot er ansvaret for kompetansemålene i skriving i realiteten individualiserte og dermed vilkårlige. Institutt for lingvistiske og nordiske studier (ILN)

Reliabilitet i skriveprøver – en klassisk utfordring For gjennomføringen av Kunnskapsløftets intensjoner om å etablere skriving som en grunnleggende ferdighet, er denne vilkårligheten en åpenbar grunnutfordring. Ekspertgruppen mener det er grunn til å være svært tydelig på dette punktet: Dersom ikke lærernes tolkningsfellesskap når det gjelder skriving og skrivevurdering styrkes, vil det ikke være mulig å gjennomføre Kunnskapsløftet i tråd med intensjonene.” Fra Berge, Evensen, Fasting, R. Thygesen. 2007. Nasjonale prøver i skriving som grunnleggende ferdighet. Sluttrapport. Side 115. Institutt for lingvistiske og nordiske studier (ILN)

Vurderingsredskaper: kontroll med innholdsvaliditeten (1) Trinnmålsdokumentet: nasjonale kompetansemål for skriving Kompetansemål i læreplanen Vurderingsskala tilpasset skrivekonstruktet Meget lav mestring på vurderingsområdet Lav mestring på vurderingsområdet På et mestringsnivå som en kan forvente ved starten av årstrinnet Høy mestring på vurderingsområdet Meget høy mestring på vurderingsområdet Vurderingsveiledning med referansetekster Institutt for lingvistiske og nordiske studier (ILN)

Vurderingsredskaper: kontroll med innholdsvaliditeten (2) Primærtrekkmetoden som grunnlag Noen få trekk vurderes hver gang Generelt vurderingsskjema Kommunikasjon Innhold Tekstoppbygging Språkbruk Rettskriving og tegnsetting Bruk av skriftmediet Institutt for lingvistiske og nordiske studier (ILN)

Ekspertvurdererne: arbeidet med skolering av bedømmere (1) Rekruttering: engasjerte skrivelærere Forpliktelser fra skoleeier og bedømmer Skolering faglig forståelse av språk og tekst vurderingsinnsikt Nasjonale samlinger Piloteringer Skriveprøven dekker to skrivehandlinger (oppgaver) Institutt for lingvistiske og nordiske studier (ILN)

Ekspertvurderere: arbeidet med skolering av bedømmere (2) Individuelle vurderinger før og på nasjonale samlinger Parvurderinger Vurderinger mellom par Etterprøvinger av den statistisk ”sanne” karakteren: 5 ekstra vurderere Institutt for lingvistiske og nordiske studier (ILN)

Normprosjektet: vurderingsforskning Prosjektet Developing National Standards for the Teaching and Assessment of Writing Forprosjekt 2010-2011: rapport er publisert Hovedprosjekt 2012-2015: Utviklingen av skrivekonstruktets vurderingsnormer ved 20 utvalgte skoler og blant skolenes skrivelærere (intervensjonsforskning) Bruken av vurderingsnormene i hverdagslig skriveopplæring og skrivevurdering (vurdering for læring ved intervensjonsskolene) Hvordan elevene skriver tekster når de opplæres i de relevante normene for skriving: tekstnormer og språknormer (studier av elevtekster) Institutt for lingvistiske og nordiske studier (ILN)

Vurdering i skolen: skolens oppfølgingsarbeid (1) Informasjon fra Skriveprøven til skolene som er (statistisk) valgt ut til å delta Øvrige skoler Kan ta Skriveprøven til bruk i egen skriveopplæring Elevene utfordres og prøves i så mange ulike skrivemåter som mulig: elevens tekstsamling som vurderingsgrunnlag Antallet bedømmere på hver tekst økes: vurdering må være et kollektivt ansvar Institutt for lingvistiske og nordiske studier (ILN)

Vurdering i skolen: skolens oppfølgingsarbeid (2) Det utvikles tolkningsfellesskap blant dem som skal vurdere - vurdering må alltid drøftes og diskuteres åpent og uten fordommer Lærere må kjenne til forutsetningene for formelle/kvalitetsrangerte vurderinger Elevene gjøres kjent med kriteriene de vurderes etter - inkluderes i tolkningsfellesskapet Institutt for lingvistiske og nordiske studier (ILN)

Vurdering i skolen: skolens oppfølgingsarbeid (3) Vurderingsskjema for etablering av tolkningsfellesskap Ferdighetsnivå Kvalitetsplassering Lærer Lenes vurderinger Lærer Annes vurderinger Lærer Oles vurderinger 5-6 Tore, Tom Trine, Tore Tore 3-4 Trine, Jenny Tom, Jenny Trine, Tom 1-2 Jenny Institutt for lingvistiske og nordiske studier (ILN)