Nettbasert flervalgseksamen i sykepleierutdanning NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Høgskolen i Sør-Trøndelag Avdeling for Sykepleie PSP antall xx + PVI antall xx PSP ca. antall pr. kull

Høgskolen i Sør-Trøndelag Lene E. Blekken Høgskolelektor, Høgskolen i Sør-Trøndelag NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Høgskolen i Sør-Trøndelag Marit Olsen Høgskolelektor, Høgskolen i Sør-Trøndelag NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Høgskolelærer / prosjektleder, Høgskolen i Sør-Trøndelag Trond Indergaard Høgskolelærer / prosjektleder, Høgskolen i Sør-Trøndelag NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Lene Blekken, Trond Indergaard og Marit Olsen + noen studenter….. NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

noen PC’er og mange bøker NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Lene forbereder studentene NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Lene Blekken, Trond Indergaard og Marit Olsen Bakgrunn PBL - hjemmeeksamen Startet med selvtester i form av flervalg Krav om flere eksamener Bestemt å bruke flervalg som eksamen Diskusjonen rundt forholdet mellom PBL og flervalg mangler fortsatt Ved Hist bygger fagplanen på problembasert læring (PBL). Til 2006 har utdanningen benyttet hjemmeeksamener hvor studentene skulle trekke inn kunnskap fra alle hovedemner i en og samme eksamen. Nokut stilte i 2005 krav om flere eksamener i sykepleierutdanningen. Dette, samt retningslinjene fra rammeplanen, ble de overordnede rammene for innføring av egen eksamen i medisinske og naturvitenskapelige emner. I Norge har flervalgsoppgaver hatt varierende utbredelse, men de siste årene har denne oppgaveformen blitt vist større interesse [2]. Det viktigste for vellykket bruk, er at vi gjennom eksamensordninger faktisk måler og sikrer det som rammeplanen ber oss om, nemlig om studentene har tilegnet seg de kunnskaper og kvalifikasjoner som er skissert i målsetningen. Medisinske og naturfaglige emner er ofte konkrete og kan være et godt utgangspunkt i arbeidet med å konstruere flervalgsoppgaver med høy reliabilitet og validitet. NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Lene Blekken, Trond Indergaard og Marit Olsen Målsetting Å identifisere og belyse faktorer som har betydning for en vellykket bruk av denne type tester i sykepleierutdanning Å klargjøre om elektroniske flervalgstester er en egnet eksamensform i sykepleierutdanning NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Erfaringer fra gjennomføring av flervalgseksamen (1) Område Kull 2005 Kull 2006 Type spørsmål i eksamen 1 nøkkel + 2 distraktører Antall spørsmål i base 196 329 Antall kategorier 6 Mulighet til forberedelse, stud 10 spørsmål på 10 min Uttrekk til eksamen Tilfeldig uttrekk av 60 spm Tid på eksamen 1 time Sted for eksamen Hvor som helst m. internett Datarom på skolen med vakt Antall samtidig påloggede studenter 203 20 Karakter Bestått / ikke bestått Oversikt over rammefaktorer ved to gjennomføringer NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Lene Blekken, Trond Indergaard og Marit Olsen Erfaringer (forts.) Område Kull 2005 Kull 2006 Grense for bestått i % 66 60 Informasjon om resultat Umiddelbart etter eksamen Tid til å gå gjennom besvarelse Ubegrenset I ca. 10 minutter etter eksamen Mulighet til å skrive ut resultat Ingen utskriftsmulighet Opplysning om rett svar Om spørsmål er rett / feil Tilgang Faglærer / IT støtte På telefon I eksamenslokalet Hjelpemidler under eksamen Tillatt med alle Tillatt med bøker og web Oversikt over rammefaktorer ved to gjennomføringer NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Resultater fra gjennomføring av flervalgseksamen Kull 2005 Kull 2006 Endring % rette svar Antall % 90 til 100 % 31 15 49 23 +8 80 til 89 % 70 34 71 33 -1 70 til 79 % 67 56 26 -7 66 til 69 % 14 7 11 5 -2 60 til 65 % 13 6 17 8 +4 Under 60% 4 Sum 203 99 212 NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Synes du ditt resultat gir et godt bilde på ditt kunnskapsnivå Kull 2005 (feb. 06) Kull 2006 (nov. 06) Ja 41 (61) 60 (97) Nei 59 (88) 40 (64) Total 100 (n=149) 100 (N=161) Et klart flertall av studentene anga at de ønsket denne formen for eksamen senere i studiet. 77% (Kull 2005) 83% (Kull 2006) NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Lene Blekken, Trond Indergaard og Marit Olsen Hvem må være med? For vellykka gjennomføring vil mange faktorer ha betydning for alle parter. Faktorer som er nevnt i forhold til lærere vil også ha betydning for studenter. NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Faktorer for vellykket bruk Se på bruk av flervalgsoppgaver som en kontinuerlig prosess hvor følgende faktorer tas hensyn til NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

SAMMENHENG MELLOM FAKTORENE Rel. & Val. Metadata Infor-masjon Gjenbruk Kvalitet Database Pedagogisk forankring Testverktøy Pedagogisk forankring Fagplan  PBL – Flervalg? Informasjon Ny eksamensform. Nytt verktøy. Nye rammer Reliabilitet og validitet Lukkede spørsmål vil i seg selv bidra til høy reliabilitet. Svar gitt – ingen rom for tolkning – objektiv vurdering Svaralternativene må være mange nok til at vi reduserer sannsynligheten for gjetting. Antall og Kvalitet på spørsmål / svaralternativ Validitet - teste store deler av pensum Kan utfordre studentene på ulike nivå i Blooms taksonomi. Krever ressurser og da spesielt når det gjelder utforming av oppgaver. Det er viktig at studentene opplever at resultatet gir et riktig bilde av opplevd kunnskapsnivå. Studenter kan oppfatte det positivt å få testet kunnskap innen et emne og ikke deres evne til å utrykke seg skriftlig. SAMMENHENG MELLOM FAKTORENE NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Lene Blekken, Trond Indergaard og Marit Olsen Tid -”passe” presset i forhold til tid. Kvalitetsikring ”Ekstern sensor”. Nært samarbeid med de ansvarlige for teknisk gjennomføring. To av forfatterne har både IT-faglig og sykepleiefaglig kompetanse, disse var teknisk ansvarlige ved gjennomføringen av eksamen. Vi anbefaler at tilsvarende kombinert kompetanse er representert i arbeidet rundt en tilsvarende eksamen. Databaseløsning Databaseløsning som gjør det enkelt å vedlikeholde oppgavebasen. Standardisert mal for oppretting av nye oppgaver Databaseløsningen må være uavhengig av system slik at oppgavene kan brukes i ulike typer testverktøy. NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Lene Blekken, Trond Indergaard og Marit Olsen Metadata Metadata knyttet til oppgavene er nødvendig for organisering og gjenfinning av oppgaver samt deling av oppgaver med andre avdelinger/institusjoner. Testverktøy Den tekniske rammen rundt eksamen må fungere problemfritt - testverktøyet må ikke oppleves forstyrrende i eksamenssituasjonen. Fleksibilitet i testverktøyet: - Det må være enkelt å sette sammen et oppgavesett - Det må være enkelt å håndtere brukertilganger Stabilitet - Viktig at teknisk ansvarlige har mulighet til å styre brukertilganger også under gjennomføring av tester. Allerede besvarte oppgaver må være lagret i systemet. Mulighet for enkel navigering mellom oppgaver i eksamenssituasjonen er etterspurt blant studentene og må tas hensyn til ved valg av testverktøy. Gjenbruk / ressursbruk NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Er elektroniske flervalgstester en egnet eksamensform? Ja Nei Kanskje Hvilken eksamensform? Et klart svar på spørsmålet er det ikke mulig å gi. I den grad faktorene vi har påpekt over blir ivaretatt, mener forfatterne at det er aktuelt å gå videre med utvikling og utprøving av flervalgseksamen som en av flere eksamensformer ved vår avdeling. I tillegg til faktorer knyttet til testverktøy, reliabilitet, validitet og ressursbruk er forholdet til pedagogisk konsept av stor betydning. Som nevnt innledningsvis bygger fagplanen ved Hist på PBL (problembasert læring). Vi må vi ha en grunnleggende drøfting i forhold til om, og eventelt hvordan, innføring av denne type eksamen står i forhold til PBL som grunnleggende konsept. Kartlegging av ressursbruk må foregå over en viss tid før vi kan si hvordan forholdet er mellom ”vanlige” eksamensformer og flervalgseksamen. NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Planer for videre arbeid Videreutvikling og vedlikehold av oppgavebasen Valg av testverktøy Vurdering og justering av rammefaktorer Samarbeid Presentasjon på nasjonale og internasjonale konferanser – Erfaringsutveksling – Prosjekter Med andre høgskoler gjennom NVU Med andre avdelinger ved HiST Utviklingsarbeid / forskning Videreutvikling og vedlikehold av oppgavebasen Gjenbruk Systematisk arbeid med å utvide databasen. Systematisk oppgavekonstruksjon - Vi planlegger også å konstruere oppgaver med flere enn tre svaralternativer og andre typer oppgaver som for eksempel paringsoppgaver og dra og slipp oppgaver. Kvalitetssikring Ønsket om en stor oppgavebase må ikke gå på bekostning av kvaliteten på den enkelte oppgave. Det må sikres at oppgavene i databasen er representive for kunnskapen det forventes studentene skal inneha. Kontinuerlig evaluering av oppgavene i databasen må ivaretas. Valg av Testverktøy Et testverktøy som dekker våre behov. Vi ønsker et system som er fleksibelt på flere områder: -Kombinere faste oppgaver med tilfeldig utvalgte oppgaver. -Navigere mellom oppgaver i tillegg til å kunne bla fram og tilbake. -Vising av alle oppgaver på en side samtidig som det settes tidsbegrensning Vurdering og justering av rammefaktorer Med tanke på forholdet mellom antall oppgaver og tid til rådighet Med tanke på tilgang til hjelpemidler under eksamen Samarbeid Med andre høgskoler gjennom NVU Nasjonalt samarbeid felles oppgavebase Med andre avdelinger ved HiST Et nytt testverktøy er under utvikling ved AITeL ved HiST og vår avdeling vil være med på å teste ut dette verktøyet. Vi har også fått muligheten til å stille krav til verktøyet som gir oss fleksibilitet i forhold til våre behov. Samarbeidet så langt har gitt positive inntrykk med tanke på både fleksibilitet og stabilitet og vi planlegger å fortsette dette samarbeidet. Utviklingsarbeid / forskning Dokumentere og videreutvikle bruken av denne type tester Med tanke på fleksible løsninger for gjennomføring NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Lene Blekken, Trond Indergaard og Marit Olsen Vurdering og justering av rammefaktorer Med tanke på forholdet mellom antall oppgaver og tid til rådighet Med tanke på tilgang til hjelpemidler under eksamen Utviklingsarbeid / forskning Dokumentere og videreutvikle bruken av denne type tester Med tanke på fleksible løsninger for gjennomføring NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Eksempel på sted uten nettbasert flervalgseksamen (siden isbjørnen har problemer med mer enn global oppvarming) NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

bredbåndleverandør. Nettet er jo aldri oppe! Jeg tror jeg må skifte bredbåndleverandør. Nettet er jo aldri oppe! NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Spørre-under-søkelse Studentundesøkelser kort tid etter begge gjennomføringer av eksamen. Presenterer noen av resultatene her. NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen

Hva synes du om tiden du fikk til å gjennomføre eksamen   Kull 2005 Kull 2006 Antall Prosent God tid 14 9,3 33 20,5 2 21 26 16,1 3 18 12 39 24,2 4 23 15,3 28 17,4 5 22 16 9,9 Dårlig tid 41 27,3 19 11,8 Total 150 100 161 NVU konferanse, Bergen, 13.03.2007 Lene Blekken, Trond Indergaard og Marit Olsen