Kjennetegn på måloppnåelse - gammel vin i nye flakser

Presentasjon om: "Kjennetegn på måloppnåelse - gammel vin i nye flakser"— Utskrift av presentasjonen:

1 Kjennetegn på måloppnåelse - gammel vin i nye flakser
Prof. Stephen Dobson

2 Dagens trender? kjennetegn på måloppnåelse…utprøving nærmere seg slutten… Div. modeller for høy, lav og høy, eller selv utvikle kjennetegn Er lav måloppnåelse måloppnåelse? Skal vi tillate lav, høy og helt borte? Er vi fanget i et system?….noen opplever det slik….til nest skjerm bilde

3

4 Jeg skal argumentere… Kjennetegn på måloppnåelse er ikke noe nytt…gammel vin Vansker/ufordringer forbindet med utvikling og bruk av kjennetegn på måloppnåelse Kan vi overvinne noen av dem? Ikke tolker det slik at jeg er negativ til kjennetegn…tvertimot…vi ikke kan unngå dem og vi vinne mye ved bruk av dem

5 Kompetansemål fra hovedområdet tal og algebra i mate i 4.
Mål for opplæringen er at eleven skal kunne utvikle og bruke ulike reknemetodar for addisjon og subtraksjon av fleirsifra tal både i hovudet og på papiret bruke den vesle multiplikasjonstabellen og gjennomføre multiplikasjon og divisjon i praktiske situasjonar Kategori Lav måloppnåelse Eleven kan Høy måloppnåelse Begreper og ferdigheter Utføre addisjon, subtraksjon og multiplikasjon og divisjon i beregninger med enkle tall Utnytte tallforståelse og sammenheng mellom addisjon, subtraksjon, multiplikasjon og divisjon i beregninger Kjennetegn: beskrivelse av kvaliteten I det som mestres…f.eks. Jevn deltakesle

6 Elevene har en “god” gruppe PowerPoint presentasjon om den amerikanske valg kampanjen….hvilke kjennetegn(kriterier) vil du bruke i vurdering/evt. kommunisere i forveien ….Drøft 5 min. Kjenneteng: beskrivelse av kvaliteten I det som mestres…f.esk. Jevn deltakesle

7 kriterier (Grad av) kunnskap om emne/fag Evne å svare på spørsmål
Presentasjons struktur Bruk av lyd/bilde og andre virkemidler Hastighet, “timing” Stil Alle er innvolvert

8 Gammel vin Dale (m. fl) i en av rapportene skrive: “Robert Glaser (og Klaus) var den som først introduserte kriteriebasert vurdering som vurderingsform.” Han siterer ”Criterion-referenced measures depend on an absolute standard of quality while norm-referenced measures depend on a relative standard” Det er nok dale som skrive dette I Underveisrapport fra følgeforskningen ”Evaluering av modeller for kjennetegn på måloppnåelse i fag”

9

10 Hva sa Glaser (/Klaus) “egentlig”?
Debatten om psyko-teknologi og det militære Arv fra behaviorisme Oppnådd kompetanse..ikke evne (IQ) Debatt om standarder…minstekrav vs. maks Kvantifisering av oppnåelse - rangering, sjekk liste Utvelgelse og opplæing rikk sammen I luftforsvare I USa I slutten av andre verdens krigen…teknokultur som løvlie kaller det…..gagné (red.)I samme boken (Psychological principles in system development, 1962) sier at menneske lett å reprogramere, ikke mashiner… The output of the human component in a man-machine system requires measurment and assessment if its contribution to total system performance is ot be effectively utilized - p419 Behaviourisme…..prøver som skjer i simulerte situajsoner (selv om han snakket om on the job measures) - språk bruk de bruker er ‘stimulus-response’ Oppnåde kompetanse…proficiency measures I nået….ikke aptitude som peker mot fremtiden - minste krav/standard for at system skal fungere..yrkesfag e.g. bygge et tak, maks får ti av ti I en matteprøve…eks galser bruker er om å laste in nammunisjon I en skjfarts kanonkanon…ikke fortere enn maskin kan ta…england går denne vei med minste krav…Single Level Test in matte og engelsk på Key Stages (heller enn karkater på oppnåelse) Rangering (NB:ikke normvurderte), ….delelr opp aktiviteten elelr kunnskap I små deler…og den som vurderer bruke en skale som rangere elevens prestasjon fra god til dårlig på hver av delene; sjekk liste derimot betyr at den som vurderer bare noterer om små deler av aktivitet eller kunknskap er tilstede/ikke er tilstede.

11 Gammel vin (fort.) Kjennetegn som brud med norm-basert vurdering…
- 70-tallet i USA men allerede i 1913 Thorndike…..same in Norway - tilbake til janteloven? Glasers poeng og Dales er å si at I 1960-tallet kjenneteng marker et brudd med praksis hvor man rangere og sammenligner med andre elever. norm forteller at de er bedre eller svakere enn en annen, ikek nødvendingvis hva de kan (criterion-reference) Thonrdike skriver om norm-basert vurdering som fører til økte konkuranse mellom elever som ønsker bedre karakter enn andre….han knytter det til detaljerte karakter forskjellene…a- , a, A+osv…og han sier at mindre detaljerte karakter A, B, C, osv er tegn på kunnskap, makt eller oppnåd ferdighet Paradoskalt…..brudd med norm-basert vurdering kan fører til mindre konkuranse mellom elevene…siden det dreier seg om hva de har mestret…- mindre konkuranse….og mer I retning janteloven….men iv markedstider vi tror neppe dette?....speiselt når det er begrenset antall plasser om det er snakk om utvelgelse - thorndike sitert I Criterion-reference measurement ed. Ppopam, J p49. New Jersey: Educaitonal Technology pub.

12 Vansker/ufordringer forbindet med utvikling og bruk av kjennetegn på måloppnåelse

13

14 Vansker/utfordringer
Utvikling av kjennetegn i skolene Vurdering med kjennetegn Utvikling av gode vurderingskulturer …vi er ikke maskiner Knytter til seg kompetanse insitutsjoner….men heller enn veiledning (med ideen at noen er eksperter…heller en dialog med utvikling, utprøving og drøfting som utgangspunkt …ikke maskinger….noen vil være streng, noen det motsatte, glorie/halo effekt…at baserer vurdering på hva forventer, hva de har gjort før, eller hvis bra I deler, resten vil man forventer bra

15 Utvikling av kjennetegn (I)
Språk Taksonomi Vestlig forståelse? Utvikling…selvom flere ønsker å bare ta over nasjonale kjennetegn…må brytes ned og operasjonaliseres I undervinsing..lokale handlefrihet blir uansett om grad av najsonale kjennetegn….du må utvikles ogg brukes lokalt i teamene …..Blooms taksnomi fra 50 tallene…og kunnskap, holdninger og ferdigheter ….I vesten og I utdanningsdirektoratet…er det selvstendighet eller gruppe tekning….?, og vi pris gi det kritiske, men I østne er det andre verdi system….jeg lest om en studie I Singapore hvor de prøvd å få inn mer bruk av krtieria, kritiske…vanskelig var konklusjon.

16 Revidert Bloom taksonomi (2002)
Huske Forstå Anvende Analyse Evaluere Skape Fakta Begrep Prosedyre Meta- kognisjon Substantiv (innhold/kunnskap) vs. verb (kognitiv prosess). Synthesis er nå byttet ut med navn skape og ansett som mest avansert kognitiv prosess. Fakta=definisjoner; begreps=kunskap om sammenhenger; prosesd=fagspesisfiskferdigheter - hvordan faktisk løse en oppgave I matte; meta-kog=strategiskkunnksap om læringsstrategier…ansvar for egen læring/selv-forståelse om vurderingskriterier;

17 Elevmedvirkning i vurdering
Forskriftene: (§3-4, §4-5). Eleven, lærlingen og lærekandidaten skal kunne delta i vurderinga av sitt eige arbeid. Engasjement med liten e og stor E Modeller: selvvurdering, hverandrevurdering, og utvikling av kjennetegn …poeng er at elevene gjennom arbed med vurdering…øker sin forståelse av læring….dvs. Backwash fra vurdering til læringsvirksomhet…mest avansert er å la elevene utvikle kjennetegn ansvar for egen læring..med alt vi vet om dette Munns og Woodward (Assessment in Education, 2006): Engasjement med liten e: kognitiv (dyp refleksjon), emosjonelt (elevene anser læring som verdigfyll), adferd (deltar aktiv)…stor E…barn/famile tro på skole/utdanning som viktig for dem….her kommer inn elevmedvirkning…forlengelse av dette foreldremedvirkning I vurdering….skriver tilbakemelding I planbokene, men også mer aktivt…I mat og helse kunne foreldre vurderer barnene sine eller omvendt

18 Eks. fra Snertingdal barne- og ungdomskole
10. Trinn tverrfaglig samarbeid mellom naturfag og norsk. Elevene var utfordret til å utarbeide gode faglige og språklige oppgaver som kunne brukes som test for emnet Evolusjon og klassifisering. Foregått i mindre grupper (2-3 elever). Rammen for elevarbeidet var at oppgaveteksten skulle være egnet brukt i en flervalgsoppgave. Elevene skulle utforme passende målpunkter for hver testkategori, men det ble noe krevende. (brukt i dag med tillatelse av læreren)

19 Vurdering med kjennetegn (I)
1. Vektlegging av kjennetegn 2. Alltid et utvalg av kriterier Alltid et utvalg av kjenntegn…noen blir tatt frem…og noen blir I kullisene (foreground, background)

20 Kopperud skole eks.

21 Vurdering med kjennetegn (II)
Hva er en helhetlig vurdering? “A work judged as ‘brilliant’ overall may not rate as outstanding on each criterion. This would be necessary, logically and arithmetically, for the work to be assigned the top grade. Conversely, another work that comes out well on each criterion may be judged as only mediocre overall.” (Sadler, 2008) ‘I do not know how to define quality, but I know it when I see it’ - ordtak Vi finenr det I mange yrkesfag vurderingsoppgaver….fragmentering av kunnskap I bruk av kunnskap

22 Helhetlig vurdering Karakteren fastsettes etter en helhetlig vurdering. Det betyr at sensor vurderer i hvilken grad du…viser grunnleggende ferdigheter, bruker hjelpemidler, logiske resonnementer, ser sammenhenger, forklarer, skriver nøyaktig? (eksempelsett matte 2P april 2007) Ved vurdering av den enkelte besvarelsen skal det legges vekt på elevenes helhetlig kompetanse. Poeng kan være til hjelp…men er ikke avgjørende.” (generell vurderingsveiledning i matematikk, utdanningsdirekt.) Kvalifisert skjønn…profesjonelt skjønn….å bruke mage følelser på en kvalifisert måte…. Holistikk vs. analytisk vurdering…eksempel av spilling av sjakk…mester har overblikk,…ser mønster

23 Holistisk (global) vs. analytisk
Holistisk (helhetlig) “connoisseur”… Intuitiv Det som ikke kan forklares Hviler på en kvalitativ vurdering (av helheten) Analytisk Plasserer arbeid ved hjelp av kriterier Vektlegger dem til en endelig karakter Hviler på en kvalitativ vurdering (med hver kriteria) - begge deler……gjennom eksempler….som både elever og lærere øver på In holistic (also called global) grading, the assessor progressively builds up a complex mental response to a student work. This involves both attending to particular aspects (det som treffer en sensor som viktig - SRd) that draw attention to themselves, and allowing an appreciation of the quality of the work as a whole to emerge. The appraiser then makes a qualitative judgment as to its overall quality, and maps that judgment directly to the appropriate point on the grading scale. In addition to assigning the grade, the assessor may provide a rationale for it, perhaps in summary form for the work as a whole, or as running comments on various features of the work. Rationale and feedback statements necessarily invoke one or more criteria, because criteria are constitutive elements of all evaluative explanations or advice. In analytic grading, criteria play a clear front-end framing role. In holistic grading, the assessor’s emergent global judgment dominates. In principle at least, the global judgment is made first; references to criteria follow from reflection on that appraisal.” (Fra Sadler, R - preprint av Indeterminacy in the use of preset criteria for assessment and grading)

24

25 Vurdering med kjennetegn (III)
Filosofisk: “Hva vet eleven?”…knyttes til “hvordan vet vi?”…hvilke kjennetegn brukes?…gammel vin! Someone asks me “can you lift this weight?” I answer “yes”. Now he says “Do it!” - and I can’t. In what kind of circumstances would it count as a justification to say “when I answered ‘yes’ I could do it, only now I can’t”? (Wittgenstein, §182, Philosophical Investigations) Kjennetegn er en språkspill: f.eks. “to fit”, “to be able”, “to understand” What do we know or what is the extent of our knowledge? Relates to how do we know or What is the criteria of knowing?…which comes first…kan du vite uten å ha en kriteria…osv Kjenntegn: to fit inn I karakter 3..hva betyr det…er det det samem som to be able to eller to understand…og når opphøre det to fit in, to be able to eller to understand…det er grense zoner like mye som det som er inn I zonen/karakter som er interessant er slik at passer bare når det passer inn - f.eks. hånd I en hansker, To be able to ---kan løfte en vekt bare I igår, men ikke I dga…teller det fremdels? Forstår dikt I går , men ikke idag ….når vi bruker kjennetegn er det en språkspill som oftes generaliserer til flere ting….fra noe som passer I går, til antagelse at det passer I I dag, noe vi forsto I går til noe vi dermed må forstå idag…til noe som gjelder mens det forbindes med en aksjon Som gordon Stobart sier det - tester måler prdoukt…hva man har oppnåd…og ikek årsaken, og ikek noe som de er født med - IQ tester - og ike kkan forandrer…dvs. det er tolking av tester som er spørsmål

26 Utvikling av gode vurderingskulturer
- Tolkningsfelleskap Tid/arbeidsmengde Prosess Motivasjon Lokale handlefrihet …Smiley” ansikt?

27 Smiley ansikt…Huggins variant

28 Konklusjon: gammel vin i nye flasker…eller?
Globale og analytiske vurderingskompetanse Dialog heller enn veiledning Skapende utvikling av kjennetegn En gang i tiden… gammel vin I nye flasker…da er man en del av en internajonale tradisjon…men la oss håper for en utvikling av en norsk variant…med diskusjoner I skolen…fellesløft I skole - or is it a hargeaves view of påtvunget kollegialitet (tenisk rasjonalitet) vs. ekte samarbeid…..Konsensus kan det aldri være…heller enig å være uenig…alle vil anvende kjenneteng annleredes… Veiledning henviser til eksperter som vet svaret…men heller dialog om utvikling, utprøving og drøfting

29 En gang i tiden Dressels definisjon av karakter: ‘an inadequate report of an inaccurate judgment by a biased and variable judge of the extent to which a student has attained an undefined level of mastery of an unknown proportion of an indefinite material.’ (i Black og Wiliam, 2005: 257

30 Ressurser - elev og lærlingvurdering
Vurdering, prinsipper og praksis - nye perspektiver på elev- og lærlingvurdering - red. Dobson, Smith og Eggen (mai 2009) Vurdering for læring - Engh, Dobson, Høihilder (2007) (skriv: assessment) Nb: redigert…ikke bare oss tre