Bruk av støtteverktøy for medstudentvurdering Hugo Nordseth, hugo.nordseth@hint.no Sonja Ekker, sonja.ekker@hint.no Robin Munkvold, robin.munkvold@hint.no

Innhold Prosjektet ASSESS2010 og hvorfor utprøving av medstudentvurdering? Utfordringer ved planlegging og gjennomføring av medstudentvurdering Valg av støtteverktøy Bruk og erfaringer med støtteverktøy i ITL111 Digital kompetanse for lærere (15 sp) GEO102 Naturgeografi (15 sp) Konklusjon

ASSESS2010 prosjektet = Metode for effektiv underveisvurdering i kurs med mange studenter. = Hvordan organisere kurset slik at studentene får god underveisvurdering med liten/effektiv bruk av lærerressurser = Verktøykasse: Læringsutbytte for hvert tema i kurset Prøve ut aktiviteter for å oppnå læringsutbytte

Fakta om ASSESS2010 Et samarbeidsprosjekt mellom Handelshøgskolen BI, HiNT og HiST Prosjekt med støtte fra Norgesuniversitetet Varighet fra juni 2009 til desember 2010 Involverte: 10 personer, 10 kurs med mange studenter Info via vår prosjektwiki og blogg: http://assess2010.wikispaces.com/

Utfordringer ved bruk av medstudentvurdering: Aspekt Læreren utfordringer Empiriske studier Pålitelighet mht. vurdering og karaktergivning Får alle riktig vurdering og tilbakemelding? Motstand mot karaktergivning Tilbakemeldinger i refleksjonsnotatene og studentarbeider Oppfattet ekspertise? Støtte til svake grupper? Er støtteverktøyene nyttige? Refleksjonsnotatene Tidsforbruk Endret tidsbruk? Kvalitet på studentarbeidet Er det bedre kvaliteten på studentarbeidet? Endringer i resultater over flere år Støtte fra LMS Finnes relevante verktøy? Studie av prosess og gitte tilbakemeldinger

Verktøy - læringsutbytte GEO102 – Læringsutbytte: Ha god oversikt over de globale vegetasjonsgeografiske regioner og de miljømessige forutsetningene for dem. Kunne beskrive løsmassene i Norge: hvordan de er dannet, hvor de ligger i terrenget, sammensetning og noe om hvilke egenskaper de har for utnyttelse. formulert som studiespørsmål: Hvis relativ luftfuktighet er 70% ved 10oC, vil da den relative fuktigheten bli større eller mindre ved 20oC når den absolutte luftfuktigheten er konstant? Hva er inversjon, og hvilke konsekvenser har det hatt for Bergen nå i vinter?

Verktøy - Kriterietabell Sjekkpunkt A B C D E Intro Alle krav Noen krav Kort intro Tynn intro Type spørsmål 4 typer 3 typer 2 typer En type Stimuli Ulike typer Minst en type Kun spørsmål Blooms taksonomi 3 + grunngitt 2 + grunngitt 1 + grunngitt Ikke grunngitt Totall-inntrykk Avansert ++ Meget bra ++ Bra Enkel og greit Enkel tippekup. Eksempel på kriterietabell fra flervalgstest fritt etter Fjørtoft (2009)

Verktøy - Tenkehatter Gruppediskusjoner etter Edward de Bonos hattemetode (http://www.edwarddebono.com/concept6.htm) Først presenterer den som ber om tilbakemelding sin idéskisse. Så tar gruppen en runde for hver hattefarge. Snakk etter tur, uten avbrudd, så får den som har presentert sin idé igjen ordet, så tar dere eventuelt en diskusjon på dette perspektivet. Gå så videre til neste hattefarge og neste perspektiv .

De ulike hattene (etter : http://jilltxt. net/txt/medstudentvurdering Hvit hatt – sakens fakta: Fortell hva du har oppfattet at taleren ønsker å gjøre. ”Slik jeg forstår deg planlegger du å…, og du vil finne ut…” Rød hatt – intuisjon: Hva er magefølelsen din? Har du noen intuisjoner som du ikke helt vet hvorfor du mener? Du er kanskje ikke sikker på om de er riktige? Sort hatt – djevelens advokat: Vær skeptisk. Si noe som kan bli problematisk i dette prosjektet. Hva kan gå galt? Gul hatt – optimist: Hva liker du? Hvorfor liker du det? Hva kan dette bidra med? Grønn hatt – muligheter: Hva mer kan gjøres? Hva kunne gjøres annerledes? Hva kunne dette føre til? Hvit hatt, igjen – (sakens fakta): Kjenner du til fakta eller informasjon som kan være til hjelp for personen? Kanskje du kommer på andre referanser han eller hun bør bruke? Kan du bidra med noe? Blå hatt – oppsummering: Den som presenterte prosjektet sitt oppsummerer hva hun eller han vil ta videre fra diskusjonen

Støtte i læringsplattformer SVAKT - innleveringsmapper har ikke funksjonalitet for medstudentvurdering! Teknisk oppsett for medstudentvurdering i Fronter: Standard arkivmapper med adgang og skriverettigheter til hver studentgruppe Innleveringsrapportene lagres som filer Forum brukes som verktøy til vurdering av hverandres arbeider. Lærerarbeid å opprette alle arkivmappene med tilgang til hver enkelt studentgruppe

Opplegget i ITL111 Oppgaven var at studentene skulle lære seg å utvikle flervalgstester: Lage en test for bruk i et emne egen skole (fronter eller it’s learning) begrunne valgene i et innleveringsnotat (word) medstudentvurdering av tre andre notater (forum i fronter) Refleksjonsnotat om medstudentvurdering (vanlig innleveringsmappe) Forbedre test, innlevering og refleksjonsnotat til presentasjonsmappa for flervalgstestoppgaven

Erfaringene i ITL111 To av ni grupper unnlot å gi karakter på tilbakemeldinga til sine medstudenter (lærere) Nesten alle fikk relevant og konstruktiv tilbakemelding gjennom medstudentvurderingene (dokumentasjonskrav i refleksjonsnotatet) Kriterietabellen var meget nyttig for både utviklingen av egen flervalgstest og medstudentvurderingen. Bedre kvalitet av innleveringsrapportene sammenlignet med foregående år Tenkehattene gir noen studenter trygghet i sitt vurderingsarbeid

Opplegget i GEO102 Innleveringsoppgave med 3 spørsmål og besvarelser på rundt 10 sider Grupper med 4 studenter skulle alle gi hverandre en tilbakemelding og karakter på innleveringene Verktøy: læringsutbytte, kriterietabell og en forenklet utgave av de Bonos hattemetode I tillegg skulle hver student skrive et refleksjonsnotat om prosessen medstudentvurdering: Jobbet de mer med innleveringene når flere skulle lese den? Fungerte verktøyene som hjelpemiddel? Lærte de fagstoffet bedre? Hvordan likte de prosessen med medstudentvurdering?

Erfaringer i GEO102 De aller fleste deltok, men veldig varierende kvalitet på vurderingene Refleksjonsnotatene var meget utfyllende – de hadde sterke meninger om det Tilbakemeldingene: verktøyene nyttig, men burde vært mer detaljert spennende med noe nytt nyttig å se medstudentenes innleveringer mer jobbing med fagstoffet og bedre læring Gode verktøy tidsbesparende for lærer

Konklusjoner Innleveringsverktøy i læringsplattformene må videreutvikles til å håndtere peer assessment. Bruk av vanlige mapper og forum er en midlertidig løsning. Kriterietabeller med detaljerte krav til prestasjoner på ulike karakternivå bidro til økt innsats og kvalitet på studentarbeidet Bruk av tenkehatter gir noen studenter trygghet i sitt vurderingsarbeid Studentene får en mer allsidig og bedre tilbakemelding gjennom medstudentvurdering Lærernes arbeid flyttes fra direkte tilbakemelding til planlegging og kvalitetssikring

Kontaktinformasjon Takk for oppmerksomheten! Mer om prosjektet på: Wiki: http://assess2010.wikispaces.com/ Blogg: http://assess2010.blogspot.com/