Testverktøy for å forbedre kvaliteten på flervalgstester Svend Andreas Horgen Høgskolelektor Avdeling for Informatikk og e-Læring (AITeL) Høgskolen i Sør-Trøndelag

Motivasjon for arbeid Kvalitetsreformen – underveisevaluering Fjernundervisning: fagpåmeldinger Effektivitet LMS har egne verktøy –proprietære –mangler –vanskelig å påvirke utvikling

4 iterative faser for å lage gode tester –Utforming: hvordan lage spørsmål av høy kvalitet,... –Distribusjon: utdeling, juks, # forsøk,... –Vurdering: beregne skår, strategi for karaktergiving,... –Forbedring: analyse, identifisere dårlige spørsmål,... W. Horton: Designing web-based training Wiley, 2000 Utforme test Gi test Vurdere resultatet Forbedre test

Kvalitet gir suksess Hvor skal poenggrensene gå? x -> (x-100/n)*n/(n-1) Normalisering, n er antall alternativer, x oppnådd poengsum Analyse av testresultater er viktig, men vanskelig og tidkrevende: –sortere, sammenlikne –”populære” alternativer –statistikk (spørsmål) –tidsforbruk –min, max, snitt, frekvens –distraktøranalyse –variasjonsbredde, varians, standardavvik –andre statematiske formler

Implementering av et testverktøy Datamaskin kan automatisere og hjelpe –rask utvikling av tester og spørsmål –gjenbruk av spørsmål og tester –administrasjon av studenter og distribusjon av tester –tilfeldig utvalg av spørsmål basert på kriterier –beregning av poengsum/skår –analyse av resultater  statistikk og forslag Datamaskinbaserte tester er skalerbare

Web-basert system: EVATESTING Alle fire faser –Fokus på forbedringsfasen Multiple choice  fritekst –kan kombineres Sikkerhetsgrad LaTeX-kode  formler som bilder Ressurser (bilder++) Testparametre –strategi for vurdering –timing –tilgjengelighet –# forsøk –strategi for respons –... IMS QTI: import og eksport ”Spørsmåls-pool”

Alle spørsmål lagres i felles base (pool) Søkbar på Gjenbruk og statistikk... Verktøyet kjenner historikken til hvert spørsmål Ressurs for læreren ”Spørsmåls-pool” – stikkord – fritekst – kategori – spørsmålstype – forfatter (søk etter Truls) – tema

Forbedring – den vanskelige fasen? Beregninger: fra dager til sekunder Nyttige statistikker på flere nivåer –hjelp til å identifisere bra/dårlige spørsmål Pool + statistikk = interessante uttrekk –spørsmål med suksess –ofte brukte spørsmål –dårlig konstruerte distraktører –alternativer som ingen har valgt Automatisk generering av tester basert på ulike kriterier

Problemet med distraktører Studenter må ikke kunne eliminere distraktørene De fleste lærere synes at oppgaven med å skrive gode distraktører er vanskelig... Svein Magne Sirnes: Flervalgsoppgaver – konstruksjon og analyse Fagbokforlaget, 2005 –... men et system kan hjelpe med automatisk generering av distraktører basert på feil svar fra tilsvarende fritekst-spørsmål ! –... eller fra liknende spørsmål  maler Hvem er forfatter av læreboka ”Webprogrammering i PHP”? 1. Jon S. von Tetzchner 2. Svend Andreas Horgen 3. Ari Behn

Nå: Bruk av systemet Studenter på-huset og fjernstudenter, matematikk og IKT-fag Testing brukes som del av læreprosessen og i underveis/sluttvurdering Samler erfaringer –spørsmålspoolen vokser stadig –samlingen av resultater fra testene vokser –tilbakemeldinger fra lærere og studenter He who loves practice without theory is like the sailor who boards ship without a rudder and compass and never knows where he may cast. Leonardo da V

Hva har vi lært? Poolen har vært en suksess –gjenbruk –søk etter spørsmål av høy kvalitet Bruk av statistikk kan hjelpe læreren betydelig i forbedringsfasen Manuell analyse av testresultater har hjulpet med å bestemme hva som må implementeres i systemet Studenter er en veldig nyttig ressurs for videreutvikling og feilretting

Fremtidig arbeid Grensesnittet må forbedres Noe funksjonalitet er ikke implementert enda, trenger bedre funksjonalitet for analyse Utforske ulike muligheter for bruk Analysere i hvilken grad et slikt verktøy er effektivt og tilbyr tidsbesparelser for gjennomsnittslæreren, og sikrer høy kvalitet Finne metoder for beste praksis innen flervalgstesting