Pedagogiske krumspring med flervalgstester (multiple choice) NVU 2006 Svend Andreas Horgen Høgskolelektor Avdeling for Informatikk og e-Læring (AITeL) Høgskolen i Sør-Trøndelag

Oppvarming: Hvorfor flervalgstester? •Automatisert retting •Umiddelbar tilbakemelding •Skape kontekst / læremodus •Rask kartlegging av kunnskapsnivå •Repetisjon av pensum når som helst •LMS: Lett å gjennomføre tester •3 spørsmål kan være nok! •... •Jeg underviser, altså eksperimenterer jeg

Agenda •Kreativ bruk av tester 1 •Kreativ bruk av tester 2 •Kreativ bruk av tester 3 •Kreativ bruk av tester 4 •Kreativ bruk av tester 5 •Kreativ bruk av tester 6

Kreativ bruk 1: Studenter lager spørsmål •Gevinster –God læring, krever faglig innsikt og oversikt –Gode spørsmål kan inngå i lærers tester  motivasjon –Mer mottakelige for tester? –Øvelse i å formulere seg korrekt og presist –Du fanger opp studenters nivå, problemer, kunnskap •Utfordringer –Hva er gode spørsmål? –Tar tid å rette •Teknisk gjennomføring –Gi studentene rettigheter til å opprette tester i LMS-et –Lag en mal i Word som skal fylles ut og returneres •Varianter –Grupper kan lage tester til hverandre –Må forsvare spørsmål overfor andre på gruppen –Alle må kommentere hverandres spørsmål –Begrunne riktige og gale svar

Oppgave våren 2006: Studenter lager spørsmål •Delte ut øving som Word-dokument, sendte inn •Gav eksempel på spørsmål først –passet på å ikke legge for mye føringer: nøytralt spørsmål –de hadde også tatt andre tester på forhånd  høyere nivå i Blooms taksonomi •Oppgave 1: –”Lag minst 8 spørsmål om alt du har lært til nå, 2 fra hvert tema” –”Du skal også begrunne med egne ord hva som er riktig/galt og hvorfor” •Oppgave 2: –”Hva synes du om oppgaven denne gang? Lærte du noe, var det vanskelig, eller har du andre kommentarer?”

Erfaringer: Studenter lager spørsmål •”Publisering på Internett” og ”Operativsyst. med Linux” •Nesten alle sier at de lærer, eller ser utfordringen med å lage gode spørsmål •Noen samarbeidet på tross av instruks om individuell –De har ofte bedre spørsmål enn resten –Kanskje fordi de må diskutere og forsvare? •Mange har rene faktaspørsmål •En del kreative spørsmål •Noen få tenker oppover i Blooms taksonomi •Mange begrunner bra, men ikke alle

Videre arbeid: Studenter lager spørsmål •Kjører ny øving på slutten av semesteret i PPI-faget –Gruppearbeid (4) med diskusjon og avlagt grupperapport i ettertid –Må fange opp og lett kunne gjenbruke spørsmålene – for tidkrevende å rette i word  EVATEST, eget verktøy –(Skal kjøre Wiki-øving i opsys, har da ikke rom for ny flervalg) •Skal kjøre samme opplegg i andre fag, passer det meste •Skal skissere opplegg for fjernstudentene også. Bør passe ypperlig i fjernundervisning! •Tilbakemelding fra student: ”Ønsker flervalgsspørsmål til hvert tema så man kan teste om man har forstått stoffet” –Får prøve det neste semester og i andre fag

Kreativ bruk 2: Test på forelesning •Motivasjon –Blokkvis undervisning = behov for gjenoppfrisking –Studentene møter ikke opp og er inaktive •Metode –(Overraskende) flervalgstest på starten av timen –Samme test på slutten av timen, men det vet ikke studentene før mot slutten –Student retter selv og lærer fanger opp ”læreeffekt” •Mål –Vil øke læringen og utbyttet av forelesningen –Vil bevisstgjøre studenter på læring og motivere

Gjennomført våren 2006: Test på forelesning •Studentene tror det blir vanlig forelesning •Gjennomfører opplegget første runde –Anonymt, uforpliktende, pedagogisk øvelse –Noen spørsmål om forrige tema, noen om gjeldende tema –Delte ut på A4-ark –Studentene fikk beskjed om å snu arket, løsning ”senere” •Samme test på slutten av forelesningen –Oppsummering etterpå, felles gjennomgang av ”fasit” –De gav seg selv poeng (for eksempel 2, 0, -1) på begge testene –Lærer (jeg) spurte: Hvor mange hadde best på første test? –Studentene oppsummerte og evaluerte i siste skjema •Samlet inn alle testene, verdifulle data til etterarbeid

Erfaringer: Test på forelesning •”Publisering på Internett” –16 av 24 gjorde det bedre –3 gjorde det svakere –4 gjode det like bra –Likte opplegget –Evaluering på baksiden av ark: ”Hva synes du?” •”Operativsyst. med Linux” –7 av 12 gjorde det bedre –1 av 12 gjorde like bra –Bedre struktur på evaluering. Spurte om: forberedelse, arb.vaner, innsats i timen, etterarbeid etter forelesning •Skal kjøre samme opplegg i andre fag også –Kunne selvsagt brukt noe annet enn flervalgstester –Fordel med tester er at resultat lett kan sammenliknes –Skal skissere tilsvarende opplegg for fjernstudentene. Vanskeligere å implementere i fjernundervisning... :--(

Videre arbeid: Test på forelesning •Skal kjøre samme opplegg i andre fag •Skal skissere opplegg for fjernstudentene også. Kan være vanskelig å implementere i fjernundervisning... :--( •Spørsmålene kan være dårlige/uegnet –Må registrere og analysere data fra resultatsettene •Lage mal for opplegget –Kanskje implementere i EVATEST (eget verktøy)

Kreativ bruk 3, 4, 5, 6,... •Dele ut spørsmål en uke i forveien, ikke alternativer –Kollega Truls Fretland i algoritme/matte-fag •Jeopardy: Her er svaret, hva er spørsmålet? •Underveistester –Motivasjon, selvtest, bevisstgjøring av (manglende) kunnskap –Sikre progresjon, innlæring av begreper –Effektivisert tilbakemelding underveis (Kvalitetsreformen :--) •Kompetansekartlegging, kombinere med spørreundersøkelse –Forkunnskaper +++ og Ambisjonsnivå +++ –Gi tilgang til kjemilab bare hvis et bestemt kunnskapsnivå nås –Undersøke holdninger før praksisperiode (etikkspørsmål etc)

Vurdering •Supplement til skriftlig eksamen •Utfylle mappevurdering •Ren flervalgseksamen •Midtsemesterprøve våren 2006, Bachelor i Drift –flervalg –sparer tid på rettearbeid –krevende å lage oppgaver, tar også mye tid å kvalitetssikre –gjenbruk mulig –objektiv retting –skaper arbeid og innsats hele semesteret –turte ikke å kjøre på PC  EVATEST ikke stabilt nok, it’s learning ikke trygt nok (juks)

Avsluttende kommentarer •Mange teknikker å bruke •Trenger erfaringsutveksling på tvers av fagfelt •Ulike målsetninger, viktig å være bevisst på hva målet er •Utfordringer –Kvalitetssikring –Finne balansegang  hvor mye skal tester brukes? –Sikre best mulig læring