INF 1500; introduksjon til design, bruk og interaksjon 8 november 2010 Evaluering INF 1500; introduksjon til design, bruk og interaksjon 8 november 2010

Oversikt Vise hvordan observasjon, intervjuer og spørreskjema også kan brukes i evalueringsfasen Gå igjennom sentrale begreper om evaluering Introdusere ulike metoder for evaluering

Evaluere Evaluere eller teste? Hva er forskjellen? Likheter? Hva evalueres? Hvorfor evaluere? Hvordan evaluere? Hvem skal gjøre evalueringen? Hva benyttes data fra evalueringen til? Evaluere i forhold til hva? Kriterier? Mål?

Evaluere Etymologi; évaluation, from évaluer "to find the value of," from é- "out" (see ex-) + valuer (see value). Teste, eksperimentere, eksaminere, sjekke, prøve ut, verifisere, validere… ”the proof of the pudding is in the eating”

Hvorfor, hva, hvor og når skal vi evaluere? Iterativ utvikling; det betyr at evaluering og design er kontinuerlige prosesser som undersøker Hvorfor: for å undersøke om brukerne kan benytte løsningen Hva: konseptmodell, tidlige prototyper, endelige prototyper Hvor: i ”naturlige omgivelser” eller i laboratorium omgivelser Når: tidlig i prosessen, sent i prosessen, og alt imellom;)

Bruce Tognazzini – om ”hvorfor evaluere” Iterativ design, med repetisjon av design og testing, er den eneste måten å forsikre seg om gode resultater. Dersom du ikke har bruker testing som en integrert del av design prosessen så kaster du bort ressurser Altså: ressursbruk i forhold til måloppnåelse..

Hvem skal gjennomføre evalueringen? De som har laget prototypen eller systemet? Andre? Fordeler og ulemper?

Øvelse Tenk deg at du sender bort dine prototype (oblig 2) til et firma (eller en annen gruppe) som skal gjøre evalueringen av prototypen Hva trenger dette firmaet av informasjon fra deg? Tror du resultatene vil skille seg fra de resultatene du selv ville fått?

Nivåer – av HVA Bruker Tjeneste Grensesnitt Nettleser Applikasjon HW Software Nettverk Omgivelse Hva er det vi skal evaluere? Person? Handling? Grensesnitt? Oppgaveløsning? Hardware? Medium? Software? Bruken? Måloppnåelsen? Robusthet? Estetikk?

Evaluering - begreper Analytisk evaluering Kontrollerte eksperimenter Felt studie Formativ evaluering Heuristisk evaluering Prediktiv evaluering Summative evaluering Brukbarhets laboratorier Bruker studier Brukbarhets studier Brukbarhets testing Bruker testing

Tilnærminger til evaluering Brukbarhets testing Felt studier Analytisk evaluering Kombinerte tilnærminger Opportunistisk evaluering

Øvelse To og to Oppgave: Still klokken 3 sekunder frem (armbåndsur, mobiltelefon, PC, annet) Planlegg evalueringen Gjennomføre evalueringen.

Karakteristika ved tilnærmingene Brukbarhets testing Brukere gjør oppgaver i kontrollerte omgivelser, målinger og feil blir rapportert Felt studier Brukere gjør oppgaver i ”naturlige” omgivelser, beskrivelser blir rapportert Analytisk Brukere er ikke involvert, kan gjøres hvorsomhelst, problemer blir rapportert

Evaluerings tilnærming og metoder Brukbarhets testing Observasjon Spørre brukere Testing Felt studier Spørre eksperter Analytisk Modellere

Øvelse Tenk ut – hva er fordeler og ulemper ved Brukbarhetstesting Felt studier Analytisk evaluering

Evaluering i ulike kulturer Lese fra høyre til venstre – eller venstre til høyre? Bar hud/fotografier/kvinne/mann Metaforer – opp ned;)

Oppsummering Evaluering og design er sentralt i bruker - sentrert utvikling Noen av de samme teknikkene blir benyttet for krav etablering Tre tilnærminger: Brukbarhets testing Felt studier Analytisk evaluering

Oppsummering - fortsettelse Metoder for evaluering Observasjon Spørre brukere Spørre eksperter Bruker testing Inspeksjon Modellere brukeres oppgaveløsning Triangulering betyr å benytte ulike teknikker for å oppnå flere perspektiver, eller å analysere data ved ulike teknikker Å jobbe med begrensninger er sentralt for de som gjør evelaueringer

DECIDE (BUVIBE) Determine goals Explore the questions Bestemme mål Explore the questions Utforske spørsmålene Choose the evaluation approach and methods Velge evaluerings tilnærming og metoder Identify the practical issues Identifiser de praktiske forholdene Decide how to deal with ethical issues Beslutte hvordan etiske spørsmål skal håndteres Evaluate, analyze, interpret and present the data Evaluere, analysere, tolke og presentere dataene

Bestemme målene Hva er målene for evalueringen? Hvem vil ha resultatene – og hvorfor? Målene vil influere evalueringsmåten? Eksempler på mål: Identifiser den beste metaforen for en gitt design? Sjekk at grensesnittet er konsekvent (consistent) Undersøke på hvilke måter teknologien endrer arbeidspraksis? Forbedre brukbarheten til en eksisterende løsning

Utforske spørsmålene For all evaluering trengs mål og spørsmål Eksempel: Et mål er å finne ut hvorfor mange brukere foretrekker å kjøpe papirbasert billett fremfor elektronisk billett – dette spørsmålet kan deles opp/operasjonaliseres til: Hva er brukerens holdninger til elektroniske billetter? Er brukerene bekymret eller opptatt av sikkerhet? Hvordan oppleves brukergrensesnittet. Og disse tre spørsmålene kan operasjonaliseres ytterligere.

Velg evaluerings tilnærming og metoder Evaluerings tilnærming påvirker hvilke metoder som benyttes, og hvordan data blir samlet, analysert og presentert For eksempel vil feltstudier typisk: Involvere observasjoner og intervjuer Være ute i ”felten”, altså ikke laboratorium omgivelser Data som samles er oftest kvalitative

Identifiser praktiske forhold Hvordan velge brukere? Håndtere budsjett og kostnader? Håndtere tidsfrister og tidsrammer? Finne de som skal evaluere? Velge utstyr som skal benyttes for å gjennomføre evalueringen og samle inn data

Bestemme hvordan etiske spørsmål skal håndteres Utvikle et ”informert samtykke” dokument/presentasjon Deltagere har rett til: Å vite hva som er målet med studien Å vite hva som gjøres med funnene og dataene fra studien Vern av personlig informasjon som blir gitt Å trekke seg fra studien når de ønsker Å bli behandlet høflig

Evaluere, tolke og presentere data Tilnærmingen som benyttes påvirker hvordan data blir evaluert, tolket og presentert Følgende vurderes: Pålitelighet (reliability) Gyldighet (validity) Bias Omfang Økologisk gyldighet: hvordan påvirker miljøet funnene (Hawthorn effekt)

DECIDE oppsummering Determine goals Explore the questions Bestemme mål Explore the questions Utforske spørsmålene Choose the evaluation approach and methods Velge evaluerings tilnærming og metoder Identify the practical issues Identifiser de praktiske forholdene Decide how to deal with ethical issues Beslutte hvordan etiske spørsmål skal håndteres Evaluate, analyze, interpret and present the data Evaluere, analysere, tolke og presentere dataene