Automatisering av tester Greta Hjertø Jarle Larsen Svend Andreas Horgen

Effektmål Målet er å fremskaffe et grunnlag for å ta i bruk automatiserte tester ved AITeL, slik at: de i størst mulig grad kan erstatte tradisjonelle prøver og eksamener vi måler studentens faktiske kunnskap på en tilfredsstillende måte lærerressurser til utvikling, gjennomføring og etterarbeid reduseres vesentlig i forhold til dagens praksis studenten får et arbeidsredskap som motiverer og støtter i læringsprosessen Øke forståelse for og kompetanse i bruk av automatiserte tester i høgere utdanning

Resultatmål Identifisere en beste praksis gjennom litteraturstudium utvikling og utprøving av tester analyse av testresultatene syntese – beste praksis Utvikling av verktøy med funksjonalitet basert på resultater fra analysene Formidling av resultatene Paper til Educa Berlin (des 2005). Abstract april 2005. Verktøy/prototyp, HiST, its L, andre? Presentasjon for ansatte i HiST Instruksjonshefte for å lage gode tester – legg ut på NVU-web? Kanskje bidra i Høgskolepedagogikk-undervisningen

Presentasjon av resultater Teorigrunnlag Utprøving av teori Utvikling av verktøy Formidling av resultat Foredrag Paper Rapport Guide/oppslagsverk

Teorigrunnlag – litteratur M. Bush: ”A Multiple Choice Test that Rewards Partial Knowledge”, Journal of Further and Higher Education, Vol. 25 no 2, 2001 Sylvia Encheva, Sharil Tumin: “On multiple choice tests in a computer added assessment system” W. Horton: Designing web-based training Wiley, 2000 T. Buchanan: “Using the world wide web for formative assessment”, Jorunal of Educational Technology Systems, 27, 1998-1999

Automatiserte tester – beste praksis? Valg av spørsmålstype Formulering av spørsmål Valg av tilbakemeldingsstrategi Utforming av tilbakemelding Design test Forbedre test Gi test Evaluer resultat Spør studentene Vurder test mot kursmål Valg av teststrategi Bygging av tester Utforming av informasjon Hindring av juks Gi skår Valg av skårstrategi

Spørsmålstyper Ja/nei Flervalg – varianter Fritekst Sammenligne to lister Fyll inn blanke Klikk og dra Simulering

Formulering av gode spørsmål Enkle og komplette formuleringer, eksempel: Pass på dobbelt nekting Ikke la ja bety noe negativt Ikke bruk pronomen Ikke bruk understrekning, betyr lenke på Internet La alle alternativer være like sannsynlige Ikke avslør svaret Varier vanskelighetsgraden

Effektive tilbakemeldinger – eksempel på design Start test Spørsmål Neste spørsmål Hint ? Tilbakemelding feil svar Tilbakemelding riktig svar Evaluer svaret Når? Hvem? Innhold? Riktig svar Lenke til fagstoff ? Beregn skår

Effektive tilbakemeldinger

Valg av teststrategi Skal studenten teste seg selv? Skal lærer se hvordan studenten ligger an? Skal lærer gi karakter? Eksempel på bruk av tester Selvevaluering Obligatorisk test Midtveiseksamen

Bygging av tester Statiske / Dynamiske Lærerstyrt / Studentstyrt Eksempel på bygging: Testen bygges når studenten ber om den Testside, spørsmålssett velges tilfeldig fra pool Hvis testen tas flere ganger, neste test har ny side med nye spørsmål og/eller svaralternativer For hvert spørsmål, fem svaralternativer, ett riktig, ett vet ikke Hvis ny test med nye svaralternativer – ett galt svar det samme Studentens sider lagres Alle versjoner sammenlignbare i vanskelighetsgrad og tema

Om å informere om testen Får jeg karakter? Hvilken del av pensum dekkes? Er det tidsbegrensning? Når må jeg ha tatt testen? Hvor mange spørsmål består den av? Hvor mange poeng får jeg for rett svar, feil svar ingen svar? Hva slags spørsmål er det? Kan jeg ta testen senere? Kan jeg ta testen flere ganger? Kan jeg avbryte og fortsette senere? Hvilke hjelpemidler kan jeg bruke? Når får jeg vite resultatet? Må spørsmålene besvares i sekvens? Hva skjer om jeg får tekniske problemer?

Informasjon til studentene Testregler for kurset Testside for hver test Spesifikk informasjon for hvert spørsmål Vanlige spørsmål og svar

Beregning av skår Mål: Måle faktisk kunnskap Strategier: Hindre gjetting Måle delvis kunnskap Strategier: Normalisering Høy grunnverdi Negative skår for feil svar Hvor sikker er du? Velg mer enn ett alternativ Eliminer feil svar

Stadig bedre tester Evaluer resultatet basert på statistikk Spør studentene Vurder mot kursets mål

Utprøving av teori Kildemateriale – tester i flere fag til nå Analyse Internett og Sikkerhet Prosjektrettet systemarbeid Kontorautomasjon Webprogrammering med PHP Visual Basic BADR høsten 2004 Analyse Syntese

Utprøving av teori Kildemateriale Analyse Syntese

Utprøving av teori Teori Kildemateriale Analyse Syntese Verktøy Beste praksis

Hypotese 1 Poengberegningen som brukes spiller inn på resultatet av tester Poengberegningen må velges med omhu og tilpasses fagets egenart.

Kildemateriale hypotese 1 Øving høsten 2004, BADR, it's Learning Programmering 75 studenter 20 spørsmål, ett av fire kryss, 60% riktig for å stå Hvor sikker er du på om svaret er riktig? Del av eksamen, fjernundervisning Et kryss av tre mulige, minuspoeng for galt svar (Internett og Sikkerhet, Kontorautomasjon) Et kryss av fire mulige (Visual Basic, Kontorautomasjon) Sett kryss for 0,1,2,3 eller 4 riktige (PHP, Visual Basic)

Strategi hypotese 1 Fra its’ Learning til regneark Analyse Ingen eksportstøtte per i dag Stor manuell jobb Analyse Ulike formler for poengberegning Forskjell, mønstre, eller annet å trekke ut Andre forslag?

Forventet resultat hypotese 1 Hvilke formler egner seg best til denne type test? Mulig å generalisere konklusjonen? Guide til hvordan formler må settes opp i regneark

Hypotese 2 Hvis læreren kan noe teori om flervalgstester og legger flid i formuleringene, vil studentene akseptere testene. Tester kan erstatte tradisjonell eksamensform og ressurser spares. Det kreves derimot trolig mer arbeid for å lage en god nok flervalgstest.

Kildemateriale hypotese 2 Eksamen FU i Visual Basic desember 2004 flervalgstest (40%) programmeringsdel (60%) Eksamen BADR januar 2005 eksamen talte 60% på totalkarakteren (prosjekt siste 40%) 20 spørsmål fra IT-Intro, 10 fra Publisering på Internett, 10 fra Visual Basic og 10 fra Databaser. Kvalitetssjekk: faglærerne løste alle spørsmålene i plenum. Muntlig tilbakemelding om at flere av spørsmålene var utvetydige og at de kunne svaret, men krysset av feil pga formuleringene.

Strategi hypotese 2 Er det en sammenheng mellom resultatene fra flervalgstesten (40%) kontra programmeringsdelen (60%) av VB-eksamen? Kunne flervalg vært brukt alene på denne eksamen? Uklare formuleringer: Spørsmål som også flinke får 0 poeng på Lag evalueringsskjema for BADR-studentene??? Lag flervalg til eksamen i Opsys til våren med sterkere fokus på teori Gjenta evalueringsskjemaet etter eksamen i mai???

Forventet resultat hypotese 2 Kan lære mye om hva som må til for at tester kan brukes i utstrakt grad Kan avdekke typiske uheldige formuleringer Kan lære om studentenes oppfatning av tester

Hypotese 3 Underveistesting i semesteret kan øke læringen for studentene, ivareta fleksibiliteten og sikre jevn progresjon i faget. Testingen kan automatiseres

Kildemateriale hypotese 3 Generell observasjon: Det er ofte et nokså stort frafall av studenter i fjernundervisningen Mange studenter føler at eksamen ble mye vanskeligere enn først antatt. Resultatene fra Visual Basic over en årrekke avslører at en stor andel stryker eller er i bunnen av karakterskalaen. Har ikke brukt flervalgstester underveis i semesteret i fjernundervisningen før, selv om det ofte er flervalgstester på eksamen.

Strategi hypotese 3 Lag 2-3 frivillige tester i Visual Basic, FU Plasser disse etter vanskelige tema (matriser, funksjoner, filbehandling) Lag og gjennomfør 1 obligatorisk flervalgstest i Opsys (BADR) Bruk its’ Learning nå Eget verktøy til høsten?

Forventet resultat hypotese 3 Vanskelig å måle om slike underveis-tiltak har noen direkte effekt Kan se på om gjennomføringsraten øker, samt om karakterene forbedres sammenliknet med tidligere karakterfordeling Kan spørre om de er tilfredse med faget, og kanskje sammenlikne med andre fag de tar hvor slik testing ikke gjennomføres? Kan gjenbruke testene over flere semestre og slik forbedre det pedagogiske opplegget

Status Litteraturstudier Gjennomførte tester Behov for nytt verktøy - hovedprosjekt Demo ved studentene Thomas Eggum og Sindre Williksen

Videre arbeid – Vår 2005 Følge opp hovedprosjektet Komme fram til metoder for å kvalitetssikre tester Utvikle tester basert på litteraturstudiene Gjennomføre tester i noen fag Som selvtest Som vurderingsgrunnlag Vurdere om det er noen signifikant forskjell mellom test og vanlig eksamen Implementere IMS QTI i hovedprosjektoppgaven? Undersøke hvordan studenter og lærere oppfatter verdien av tester i læringsprosessen

Videre arbeid – Høst 2005 Evaluere resultatet av vårens undersøkelser Skrive foreløpig rapport Studere problematikken omkring autentisering av tester Utføre nødvendige forbedringer og kvalitetssikre arbeidet Nye undersøkelser Analysere resultatene Foredrag

Videre arbeid – Vår 2006 Fortsette analysearbeidet Rapportskriving Utarbeide instruksjonshefte for å lage gode tester Avslutningsfest!!!