Muntlig eksamen samfunnsfag 2007 – oppgavetyper, vurdering og vurderingskriterier Skoleetaten Oslo, 12. mars 2007 Dag Fjeldstad, ILS/UiO

Mer vekt på resultatvurdering (achivement)… OECD-rapport om Norge, høsten 2005: Equity in Education, Thematic Review. Her sitert etter brev av 26.04.2006 (2006/106) fra Utdanningsdirektoratet til Kunnskapsdepartementet: ”We believe that one of the reasons for underachievement at age 15 may be the predominance of a culture of which children are underchallenged. We have been impressed by the quality of care provided for children, the emphasis on social development and the priority given to out-door play, but worry that expectations about intellectual development are too low.”

Vurdering - 1 En oppgave, en prøve, en eksamen er en test En test måler noe (alle lærere måler!) Måling vil si å knytte tall (f.eks. karakterer) til adferd (f.eks. elevens besvarelse) En karakter er et uttrykk for måling av en psykologisk variabel (f.eks. dyktighet i samfunnsfag)

Vurdering - 2 Dyktighet i sk er et konstrukt som må gis en operasjonell definisjon, dvs. en oppskrift på hvordan det skal måles Flere mulige definisjoner: validitetsproblem! Stemmer den operasjonelle definisjonen med det vi ønsker å måle?

Kilde bilde 3-5: Professor Svein Lie, ILS/UiO Vurdering - 3 Et hvert spørsmål i en test dekker bare en del av det som måles Hvordan gir det mening å “summere” svar på / løsninger av enkeltoppgaver? Skal en vanskelig oppgave telle mye eller lite? Dette er psykometriens grunnproblem. Kilde bilde 3-5: Professor Svein Lie, ILS/UiO

Litt om to av de grunnleggende ferdighetene… Å kunne uttrykke seg muntlig og skriftlig i samfunnsfag innebærer å fortelle om hendinger i fortid og samtid, å beskrive steder og fakta og bruke definisjoner, begreper og faguttrykk til å forklare årsaker og virkninger knyttet til samfunn og kultur. Disse ferdighetene innebærer å kunne presentere resultater av eget arbeid tydelig og forståelig for andre, og å kunne samtale om egne og andres presentasjoner. Skriftlig og muntlig uttrykksevne betyr å kunne reflektere over meningsinnholdet i tekster, bilder, film og gjenstander, og å kunne sammenligne, argumentere og drøfte verdier i informasjon og kilder, i hypoteser og modeller.

Fra grunnleggende ferdigheter, via tenkeferdigheter - til komplekse fagferdigheter… T i l b a k e f ø r i n g s s l ø y f e Grunnl.f. Tenkeferdigheter Komplekse fagferdigheter - Lese - Muntlig uttrykksevne - Skriftlig uttrykksevne - Regne - Bruke digitale verktøy Klarhet Presisjon Nøyaktighet Relevans Dybde Bredde Logikk Kritisk resonnering Problemløsning Beslutningsdyktighet Perspektivisering Divergent tenkning Hypotesedannelse Vurdering av dokumentasjon Disse er knyttet til en avgrensning av viktige kunnskaps- og ferdighetsområder i de enkelte fag [ bilde 9-10]

Den ideelle oppgave i samfunnsfag? Jfr. Formålet med faget i læreplanen Grei ut om det dere ser rundt dere. Finn ut hvordan dere på best måte kan organisere dere og ta naturen i bruk. Beskriv, med deres egne ord, hvordan det er å være menneske. Ta rede på hvordan alt henger sammen og hvorfor dere er her. Bruk den tiden dere trenger. Erlend Loe (1999) L. Cappelen

Presisering av viktige kunnskaps- og ferdighetsområder i samfunnsfag(ene), jfr. bilde 7 1. Faktabeherskelse og definisjonskunnskap 2. Begrepsanvendelse 3. Informasjonsbehandling observasjon og tolkning tekstforståelse- og tolkning tall-/ (tabell)forståelse- og tolkning 4. Verdi – handlingsforståelse

5. Kulturforståelse kulturers ”logikk” perspektivisering 6. Kausalitet (årsak - virkning, grunn - følge) grunnleggende og medvirkende årsaker bakenforliggende og utløsende årsaker 7. Modellbruk 8. Formulering av antagelser (hypoteser)

3 målenivåer: R A V- typologien 1. REPRODUSERE Det skal måles at du har basiskunnskaper om / i emnet du kan presentere disse på en oversiktelig måte Viktig momenter på dette nivået beskrivelse – tid – sted – aktører hendelsesforløp presentasjon Hva – når – hvem Gjenkjenne Beskrive Gjengi Navngi Liste opp Definere

du kan peke på årsaker og virkninger 2. ANVENDE Det skal måles at du kan peke på årsaker og virkninger du har perspektiv på den aktuelle oppgaven du kan bruke det utleverte materialet du har evne til å anskueliggjøre Viktige momenter på dette nivået konkretiserende bruk av fagstoffet fra R-nivået sammenhenger – årsaker resonnementer med slutninger bruk av hensiktsmessige hjelpemidler / kilder (figurer, kart, tabeller, tekster, sitater, bilder osv.) Hvordan Fortolke Påvise Forklare Formulere Bruke (definisjoner, begreper) Gjøre rede for Organisere Beregne Forstå Sammenlikne Utlede

du kan formulere aktuelle problemstillinger 3. VURDERE Det skal måles at du kan formulere aktuelle problemstillinger du har evne til å finne motforestillinger du kan se og presentere alternative forklaringer du kan finne flere perspektiver du kan drøfte forklaringene Viktige momenter på dette nivået drøfting motforestillinger alternative løsninger begrunnet konklusjon Hvorfor Problematisere Kritisere Utlede Drøfte Generalisere Kombinere Teste Integrere Konkludere

Eksempler på formulering av vurderingskriterier på tre nivåer (L – M – H) – knyttet til noen av kunnskaps- og ferdighetsområdene i samfunnsfag; jfr. bilde 9-10

Nivåer i vurdering av begrepsanvendelse Eleven kan gjengi definisjonen av et begrep slik det er fremstilt i en lærebok eller i en annen kilde, men viser liten ferdighet i sette begrepet inn i meningssammenhenger. Nivå 2 Eleven kan definere et begrep og bruke oppgitte begreper videre som redskap i en problemløsende sammenheng, for eksempel med utgangspunkt i en oppgavetekst, men viser mindre ferdighet i å undersøke meningsinnholdet i begrepet.

[Begrepsanvendelse] Nivå 3 Eleven kan referere gitte begrepsdefinisjoner og kan bruke dem som redskaper i åpne oppgavesituasjoner. Eleven kan i tillegg finne frem til begreper som ikke er oppgitt i oppgaven, bruke dem i problemløsning, og kan undersøke og drøfte om de valgte begrepene er velegnet den sammenhengen eleven bruker dem. Eleven er i stand til å vise at valg av begreper og begrepsdefinisjoner har betydning for forståelsen av det fenomenet de anvendes på (vise meta-kunnskap, dvs. kunnskap om kunnskapen)

Nivåer i vurdering av informasjonsbehandling Eleven kan gjengi data og kunnskap (fakta, begreper og definisjoner) fra kilder som er brukt i undervisningen, men kan ikke nyttiggjøre seg kunnskapen ut over de kjente sammenhenger den inngår i. (Eks.: eleven kan referere en selvmordstypologi, men kan ikke bruke typologien som redskap til å undersøke selvmord i Norge i dag.) Eleven kan ikke eller viser liten evne til å oppsøke og bruke informasjon ut over den som allerede er kjent eller som blir gitt i oppgaver. (Eks.: hvis eleven blir bedt om å finne informasjon om årsaker til selvmord, har eleven ingen forslag ut over lærebøkene.) Nivå 2 Eleven kan finne (ny) informasjon i oppgitte / vedlagte kilder og kan vise / forklare hvordan informasjonen kaster lys over problemstilling(ene) i oppgaven. Det vil si at eleven kan resonnere og rekke slutninger på grunnlag av kildematerialet.

Nivå 3 Eleven viser evne til å oppsøke / finne fram til kilder på egen hånd. Eleven viser evne til å se og utforme spørsmål & problemstillinger og klarer å ordne informasjon med utgangspunkt i spørsmålene. Eleven viser hvordan informasjon kan fortolkes ut fra perspektiver og valgte synsvinkler. Eksempel: alternative oppfatninger av grunnlaget for Norges ’Nei til EU’ i 1994 – elg-oppfatningen, sugerørsoppfatningen, langspurtsoppfatningen, husmannsånds-oppfatningen, anderledesoppfatningen, samspillsoppfatningen, NHO-oppfatningen, lærebokoppfatningen osv.

Nivåer i vurdering av verdi- og handlingsforståelse Eleven kan beskrive enkeltverdier som er sentrale for individer og grupper (i det norske samfunn) og gjengi en enkel modell av forholdet mellom verdier og handlinger (jfr. eksempelvis bilde 20) Nivå 2 Eleven kan gjøre rede for hvordan verdier har en tendens til å henge sammen i verdisystemer, og kan utlede hvordan disse kan tenkes å påvirke adferd på ikke-tilfeldige måter. Eleven kan vise at verdier og verdisystemer er i forandring og at de ikke representerer absolutte determinanter for adferd. Nivå 3 Eleven kan kritisere og drøfte betydningen av forholdet mellom verdier og handlinger og kan vise hvorfor det fins alternative perspektiver og forklaringer på handlingsvalg. Eleven kan begrunne sine motforestillinger.

Verdier som ”forklaringsvariabel” – jfr Verdier som ”forklaringsvariabel” – jfr. kunnskaps- og ferdighetsområdet verdi- og handlingsforståelse Verdier Verdier Sosial bakgrunn Sosial bakgrunn Adferd / handling Adferd / handling Holdninger Holdninger

Nivåer i vurdering av kulturforståelse Eleven kan definere hva kultur er og kan gi eksempler på kulturuttrykk i et gitt samfunn. Eleven kan gjenkjenne og navngi forskjellige subkulturer, og kan gjengi/ beskrive karakteristiske trekk ved dem. Nivå 2 Eleven kan bruke utlevert materiale til å anskueliggjøre kulturfenomenet. Eleven viser forståelse av at forholdet mellom natur og kultur (’arv og miljø’) er et gjensidighetsforhold. Eleven kan sammenligne kulturer med hensyn til funksjoner og konsekvenser for medlemmene av kulturen. Nivå 3 Eleven er i stand til å problematisere kulturens rolle for menneskers livsutfoldelse (’ubehaget i kulturen’). Eleven kan kombinere perspektiver på kultur og trekke generaliserende slutninger mellom individ og kultur (’system’).

Nivåer i vurdering av kausalitet Eleven kan beskrive at et sosialt fenomen påvirkes av ’noe’, men påviser lite om retningen og dynamikken i påvirkningsforholdet. Nivå 2 Eleven kan skille mellom årsak og virkning (’grunn og følge’) og kan vise til flere enn én mulig årsak til et bestemt fenomén (eks. flere forklaringer på nedgangen i fødselsraten i Norge), men skiller ikke mellom årsakenes forklaringspotensiale. Nivå 3 Eleven kan skille mellom grunnlegggende og medvirkende årsaker, mellom bakenforliggende og utløsende årsaker når han forklarer et sosialt fenomen, og kan vise at årsaker ofte henger sammen i årsakskomplekser. Eleven er også i stand til å se sine egne forklaringer i et kritisk og vurderende lys; det vil si at eleven kan peke på alternative forklaringer (jfr. SOLO-taxonomien).

Kausalitet / forklaring (Elev 2. klasse vgs, desember 2005) Hvordan vil du forklare de store forskjellene mellom menn og kvinner når det gjelder lovbrudd? ”Det en kan forklare det med er det at likestillingen har kommet mer og mer de siste 25 årene. Og at kvinner har gjevnet seg mer ut med mennene om å gjøre lovbrudd eller ting en ikke skal gjøre. Men det er fremdeles mennene som gjør de mest groveste lovbruddene men kvinne følger like etter.” [Oppgaven var ledsaget av en kortfattet oversikt over menns- og kvinners lovbrudd ifølge siste tilgjengelige statistikk. Sammenlign elevens oppgavesløsning, her gjengitt i sin helhet, med kategoriene i SOLO-taksonomien, bilde 24 -26]

Biggs & Collis (1982) Evaluating the Quality of Learning: Structure of Observed Learning Outcome (SOLO-taxonomien) Oppgave: hvorfor sitter det så mange svarte menn i fengsel i USA? NIVÅ BESKRIVELSE EKSEMPEL 1. Pre-strukturelt Løsningen er irrelevant og/eller emosjonell i forhold til de forutsetninger oppgaven bygger på "Det er så synd på dem" "De er kriminelle" 2. Uni-strukturelt Oppgave og løsning henger logisk sammen, men svaret tar bare opp én dimensjon ved problemet, og denne gis generell gyldighet "De har så lav utdannelse"

3. Multistrukturelt Løsningen viser til to eller flere forklaringer som gis uavhengig av hverandre, dvs. uten at sammenhengen mellom dem klarlegges / drøftes "De har dårligere økonomi, lavere utdannelse og færre muligheter til skikkelig arbeid enn de hvite har" 4. Relasjonelt Løsningen viser ferdighet i å bruke flere momenter i forklaringen - og i vise hvordan disse kan henge sammen. Alternative forklaringer og perspektiver savnes imidlertid. "De svarte utsettes for rasisme som kan gi dem et selvbilde som avvikere og som kan stenge dem ute fra utdannelse og arbeid: Dette kan skape en ond sirkel som fører ut i kriminalitet

5. Utvidet abstrakt Løsningen viser ferdighet i både induksjon og deduksjon, dvs. generalisering ut fra eksempler og formulering av antagelser på basis av teoretiske over-veielser (hvis - så). Besvarelsen ser kunnskapens relative gyldighet. Forklaringene ses i sammenheng med historie og ideologi, de svartes levekår, politiets holdninger til og domstolenes praksis overfor svarte. Undring! Sannsynlighet!

Office of Superintedant of Public Instruction 2003 Et amerikansk eksempel på nivågruppering av vurderingskriterier, knyttet til en ferdighet i Social Studies. Social Studies Inquiry and Information Skills Excellent Proficient Partial Minimal Creates a product that uses social studies content to support a thesis and presents the product in an appropriate manner to a meaningful audience Presents a clearly stated, plausible position on an issue with three or more reasons for this position explicitly supported by accurate evidence Presents a clearly stated, plausible position on the issue, with one reason for this posistion explicitly supported by accurate evidence Presents a clearly stated, palusible position on the issue with two reasons for this position explicitly supported by accurate evidence Presents a position on the issue with no reaons and no accurate evidence or support Office of Superintedant of Public Instruction 2003

K-mål som grunnlag for oppgaver med 48 timers forberedelse Kultur beskrive hovudtrekk ved kulturen til nokre minoritetar i Noreg (faktabeherskelse, begrepsanvendelse, informasjonsbehandling) og drøfte utfordringar i fleirkulturelle samfunn (kulturforståelse, modellbruk) Oppgave Kilde(r) Kriterier Individ og samfunn bruke digitale verktøy til å finne informasjon om omfanget av kriminalitet i Noreg (informasjonsbehandling), grunngje kvifor samfunnet straffar (kausalitet) og vurdere korleis kriminalitet kan førebyggjast (formulering av hypoteser, kausalitet) Oppgave Kilde(r) Kriterier

Internasjonale forhold gjere greie for kva som kjenneteiknar internasjonal terrorisme (faktabeherskelse & definisjonskunnskap) og reflektere over årsaker til terrorisme (verdi- handlingsforståelse, kulturforståelse, kausalitet) Oppgave Kilde(r) Kriterier Utkast til oppgaveformuleringer & kilder: Se papirkopier fra seminaret 12. mars 2007

Øvelse: Arbeids- og næringsliv definere omgrepet levestandard, gjere greie for årsaker til at levestandarden i Noreg har auka og diskutere om auken har ført til betre livskvalitet - Presiseringer / konkretiseringer Oppgave? Kilde(r)? Kriterier (3 nivåer)?

Vurderingsformer (jfr. underveisvurdering) – elevønsker - samfunnsfag Innleveringsoppgave med eller uten prosess / tips fra lærer Mappe Presentasjon av prosjekt i par / gruppe Individuell presentasjon (m. PP, transparenter) Quiz som konkurranse Faktatest på It’s learning / Classfronter Oppgave / prøve på skolen – med eller uten hjelpemidler Samtale med lærer i par / gruppe Diskusjon i gruppe / klasse Andre? Kilde bilde 31: Lektor Vibeke Melby, Eidsvold videregående skole

Bilde 33 / 34: Eksempler på ”sokratiske spørsmål” – til bruk i (systematisk) trening av tenkeferdigheter & komplekse fagferdigheter, jfr. bilde 7.

Spørsmål om grunner og slutninger Spørsmål om antagelser Hvordan vet du det? Hvorfor tror du at dette er sant? Har du dekning for å si det? Hva er forskjellen? Hvilke grunner har du for å si det? Trenger du mer informasjon? Hva ledet deg til den slutningen? Hvordan anvender du den tanken i dette tilfellet? Er det grunn til å tvile på at? Hvordan kan vi finne ut om dette er sant? Spørsmål om antagelser Hva forutsetter / antar du her? Hva forutsetter Anne? Kan vi anta noe annet isteden? Ditt resonnement ser ut til å avhenge av at_ Du antar at _ ; hvordan kan du ta akkurat det for gitt? Er dette alltid tilfelle? Hvorfor tror du at det er riktig i dette tilfellet? Hvorfor tror noen det? Oppklaringsspørsmål Hva mener du med _? Hva er det viktigste i det du sier? Kan du si det på en annen måte? Sier du _ eller _? La meg se om jeg forstår deg; mener du_ eller _? Hvordan forholder dette seg til spørsmålet / saken? Kan du gi et eksempel? Kan du forklare dette nærmere?

Spørsmål om grunner og perspektiver Hva legger du i det? Når du sier_, betyr det da at _? Men hvis det skjer, hva vil da også kunne skje? Hvilken virkning vil det ha? Fins det et alternativ? Hvis vi sier at_ er moralsk riktig, hva da med_ ? Spørsmål om implikasjoner og virkninger Hva ligger i dette spørsmålet? Ville_stille spørsmålet på en annen måte? Kan noen avgjøre dette spørsmålet? Er spørsmålet klart? Forstår vi det? Er dette lett eller vanskelig å besvare? Er vi enige om at dette er spørsmålet? Jeg er ikke sikker på hvordan du tolker spørsmålet Hvorfor er dette viktig?

Vei videre? Utvikle fortolkningsfellesskap på skolene omkring definisjon av dyktighet i samfunnsfag Evt. utvikle tilsvarende tolkningsfellesskap ved bruk av (lokale) nettverk. Nettverk er et litt jålete moteord. Betydningen er potensielle rammer for samarbeid og problemløsning Diskutere oppgavetyper med 48 timers forberedelse (brede, dype, åpne, lukkete) Drøfte forventninger til eleven i eksamenssituasjonen: Samtale eller elevpresentasjon med overhead- eller PP-støtte etterfulgt av samtale? (Innebærer et slikt alternativ unødig sløsing med tiden?) Problemløsning knyttet til nytt kildemateriale som eleven får på eksamen? - Utvikle vurderingskriterier for enkeltoppgaver eller kriterier på grunnlag av kunnskaps- og ferdighetsområder i samfunnsfag, jfr. bilde 9-10.