Institutt for lærerutdanning og skoleutvikling, UiO Vurdering i engelsk muntlig i Kunnskapsløftet: Validitet og reliabilitet Førsteamanuensis Glenn Ole Hellekjær, Institutt for lærerutdanning og skoleutvikling, UiO

Plan for dagen Informasjon om regler for muntlig eksamen - Yngvild Nilsen Vurdering av engelsk muntlig i Kunnskapsløftet - validitet og reliabilitet - Glenn Hellekjær Presentasjon av oppgaver og vurderingskriterier- Hellevi Haugen og G. Hellekjær Gruppearbeid med oppgaver til drøfting Plenumsdiskusjon -veien frem til den 23/4

Muntlig engelsk avgangseksamen på Vg1 Sentrale begreper i vurdering Muntlige ferdigheter- hva er det vi tester? Språkferdigheter Innhold Kunnskapsløftets kompetansemål Noen tanker om nivå Oppsummering og mål for arbeidet

Sentrale begreper i vurdering Formativ (underveis) vurdering Summativ (avsluttende) vurdering Avgangseksamenen er ,,high stakes” og krever derfor: Reliabel vurdering Validitet - det vil si prøver som tester det de skal teste på en pålitelig måte

Reliabilitet At vurderingen er konsistent Dvs. at samme prestasjon vil gi samme karakter med ulike sensorer Krever et tolkningsfelleskap Dvs. at de som vurderer bruker de samme kriteriene Bevisshet omkring validitet Min erfaring med R 94 og utviklingen av et tolkningsfelleskap

Validitet Hvor godt tester oppgaven/prøven det man ønsker å teste Prestasjon versus kompetanse- hva kandidaten presterer (testresultatet) reflekterer ikke nødvendigvis hva kandidaten kan Denne underliggende kompetansen som måles kalles et ,,konstrukt” F.eks. muntlig språkferdighet

En god eksamen skal være: Valid- teste det det skal Vurderingen skal være reliabel Skal være læringsfremmede - ha en positiv washback på undervisningen- washback

Washback effekten If it isn’t tested it isn’t taught R94 av -- eksamen skal reflektere læreplanen Også viktig at eksamen og eksamenformatet forsterker læringen i klasserommet- trening til eksamen skal gi god læring F.eks. 48 timers forberedelse til forberedt innlegg - fremmer bl.a. kompetansemålet ,,velge og bruke innhold fra ulike kilder på en selvstendig og kritisk måte” Andre?

HUSK- Muntlige prøver- er multimodale og tester ulike ferdigheter

Konstrukt definsjon - Muntlig språkferdighet Hva er muntlig språkferdighet? Ut fra hva vi vet om hva språk er lager vi en best mulig beskrivelse av muntlig språkferdighet- et konstrukt Tester ,,operasjonaliseres” på grunnlag av denne beskrivelsen/konstruktet Læreplaner er basert på hva vi vet om språk, kan også sees på som en operasjonalisering

Some differences beween oral and written discourse May be coherence without cohesion

A transcribed conversation

Communicative Language Competence - components: Linguistic competences- lexical, phonological, syntactic knowledge and skills and other dimensions of language Sociolinguistic competences- knowledge of the sociocultural conventions of language use (rules of politeness, norms, linguistic rituals etc.) Pragmatic competences-the functional use of linguistic resources- language functions, speech acts), mastery of discourse, cohesion and coherence--influenced by the interactions and cultural environments

Lingvistisk kompetanse

Diskurskompetanse

Sosiolingvistisk kompetanse

Hva med innhold? Innholdet bestemmes i læreplanen. Tredelt taksonomi som er brukt i læreplanarbeidet: Kompetansenivå Kompetansekrav Lavt nivå: reproduksjon Middels nivå: anvendelse Høyt nivå: analyse og vurdering

Kompetansemål: Mål som beskriver hva eleven og lærlingen skal mestre etter avsluttet opplæring på ulike trinn Innholdsmålene i LK06

Illustrerer at vi har gått fra kunnskapsmål i L97og R94 til kompetansemål Kunnskapene er ,,bakt inn i” kompetansemålene ,,Kunnskapen” ikke spesifisert, bestemmes av læreren/skolen- hvordan løser vi det til eksamen?

Kompetansemålene for muntlige språkferdigheter 1 Beherske et bredt ordforråd Bruke språkets formverk i skriftlige og muntlige fremstillinger Uttrykke seg skriftlig og muntlig på en nyansert og situasjonstilpasset måte, med flyt, presisjon og sammenheng Velge hensiktsmessige lytte-, tale-, lese- og skrivestrategier tilpasset formal, situasjon og sjanger Ta intitativ til å begynne, avslutte og holde en samtale igang

Kompetansemålene for muntlige språkferdigheter 2 Hvilke av disse er relevante for muntlig? Velge og bruke innhold fra ulike kilder på en selvstendig, kritisk og ansvarlig måte Bruke teknisk og matematisk informasjon i kommunikasjonen Produsere tekster med sammensatt innhold i digitale medier Velge et tverrfaglig fordypningsemne innenfor eget programoråde og presentere dette (relevant for yrkesfag og CLIL)

En grunnleggende ferdighet som er integrert i kompetansemålene Å kunne uttrykke seg skriftlig og muntlig i engelsk er sentralt i utviklingen av engelsk språkkompetanse og går igjen i kompetansemålene for alle trinn. Disse ferdighetene er viktige redskaper i arbeidet med å forstå og ta i bruk engelsk i stadig mer varierte og krevende sammenhenger på tvers av kulturer og fagfelt. Muntlige innebærer både å kunne lytte og tale.

Common European Framework Skiller mellom: Spoken interaction Spoken production

Strategies Planning: Rehearsing; Locating resources; Considering audience; Task adjustment; Message adjustment Execution Compensating; Building on previous knowledge; Trying out Evaluation Monitoring success Repair Self-correction

Nivå? CEF, A1-B1

Nivå? CEF B1-C2

Oppsummering Vårt mål er å utvikle en valid muntlig eksamen Tester muntlig språkferdighet Tester faktakunnskap For å være tilstrekkelig valid bør den teste ulike kommunikasjonssituasjoner, f.eks. Forberedte innlegg/presentasjoner Muntlig interaksjon & ulike oppgaver som tar utgangspunkt i fagrapportene Vi trenger også gode vurderingskriterier og sensorskolering

Vurderingskriterier og oppgaver Glenn Ole Hellekjær

Nivå Språk Høy Middels Lav Behersker en klar uttale og gjennomført intonasjon uten aksent på tilnærmet ,,native speaker” nivå. Behersker språkets formverk i den grad at feil er sjeldne og ofte rettes opp på egenhånd. Behersker et variert ordforråd, samt beherskelse av idiomer og faste uttrykk som muliggjør kommunikasjon om generelle og spesielle emner, i ulike kommunikasjonssituasjoner, på en lett og uanstrengt måte Middels Behersker en klar og konsistent uttale og intonasjon og tilstrekkelig grammatiske kontroll til å unngå kommunikasjonsforstyrrende eller ,,skjemmende” feil. Evner tidvis å legge merke til og rette opp eventuelle feil. Har et ordforråd som tillater kommunikasjon om relevante emner uten unødig nøling eller brudd i kommunikasjonen. Behersker utrykk og språknormer i vanlige kommunikasjonssituasjoner. Lav Behersker en forståelig uttale, bruker enkle språkstrukturer og et ordforråd som er tilstrekkelig til å utrykke seg om enkle tema på en forståelig måte. Kan bruke faste utrykk og beherske språknormer i enkle kommunikasjonssituasjoner.

Muntlig kommunikasjon Nivå Muntlig kommunikasjon Høy Kan produsere klare, komplekse, logisk oppbygde og sammenhengende muntlige tekster/ytringer som er godt tilpasset kommunikasjonssituasjonen eller formålet. Kan delta i muntlig interaksjon på en spontan, flytende, og uanstrengt måte og tilpasse språk, fremføring og kommunikasjonsstrategier til ulike formål og publikum. Middels Kan produsere klare og sammenhengende muntlige tekster/ytringer som er tilpasset kommunikasjonssituasjonen eller formålet. Kan delta i muntlig interaksjon på en flytende og uanstrengt mate og benytte språk og kommunikasjonsstrategier til ulike situasjoner og formål. Lav Kan produsere enkle sammenhengende muntlige tekster/ytringer som er relevant for kommunikasjonssituasjonen eller formålet. Kan delta i enkel muntlig interaksjon/samtaler.

Nivå Innhold Høy Kan analyse, drøfte og vurdere og sette kunnskapen i sammenheng. Middels Kan presentere og anvende relevant kunnskap. Lav Kan reprodusere relevant kunnskap.

Arbeidsoppgaver for idag Organiser dere i grupper på 5-7, fra ulike skoler og skoleslag.Velg en kontaktperson og ,,rapporteur” som kan legge frem gruppens arbeid i plenum. Oppgave 1. Drøft de gamle muntlige oppgavene som har blitt lagt frem. Hvordan må de endres for å tilpasses 48 timers forberedelse og for å tilpasses LK06 læreplanen? Oppgave 2. Drøft mitt forslag til vurderingskriterier og utarbeid forslag som er utformet slik at elevene forstår hva som legges vekt på med vurderingen- men uten at de gir en oppskrift på løsningen.Lag evt. supplerende kommentarer til mitt forslag.

Arbeidsoppgaver for idag 2 ,,Rapporteuren” bør i rimelig tid forberede overheads/Powerpoint filer slik at gruppens arbeid kan legges frem i plenum til slutt. Ellers - kursansvarlige vil sirkulere mellom gruppene og samle opp og svare på spørsmål.

Arbeidsoppgaver frem mot samlingen i april De ulike gruppene fullfører sine utkast og prøver ut oppleggene og kriteriene. Gruppene vil bli bedt om å legge frem sine erfaringer på samlingene. Beskriv oppleggene dere prøver ut, og hva som virket bra og dårlig. Enkelte skoler vil kontaktes for å ta videoopptak av simulerte muntlige eksamener - til bruk for sensorskolering. Vi ønsker et minimum av en middels elev og en elev som presterer meget høyt.