Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

Evaluering INF 1500; introduksjon til design, bruk og interaksjon 8 november 2010.

Liknende presentasjoner


Presentasjon om: "Evaluering INF 1500; introduksjon til design, bruk og interaksjon 8 november 2010."— Utskrift av presentasjonen:

1 Evaluering INF 1500; introduksjon til design, bruk og interaksjon 8 november 2010

2 Oversikt • Vise hvordan observasjon, intervjuer og spørreskjema også kan brukes i evalueringsfasen • Gå igjennom sentrale begreper om evaluering • Introdusere ulike metoder for evaluering

3 Evaluere • Evaluere eller teste? Hva er forskjellen? Likheter? • Hva evalueres? • Hvorfor evaluere? • Hvordan evaluere? • Hvem skal gjøre evalueringen? • Hva benyttes data fra evalueringen til? • Evaluere i forhold til hva? Kriterier? Mål?

4 Evaluere • Etymologi; évaluation, from évaluer "to find the value of," from é- "out" (see ex-) + valuer (see value). • Teste, eksperimentere, eksaminere, sjekke, prøve ut, verifisere, validere… • ”the proof of the pudding is in the eating”

5 Hvorfor, hva, hvor og når skal vi evaluere? • Iterativ utvikling; det betyr at evaluering og design er kontinuerlige prosesser som undersøker – Hvorfor: for å undersøke om brukerne kan benytte løsningen – Hva: konseptmodell, tidlige prototyper, endelige prototyper – Hvor: i ”naturlige omgivelser” eller i laboratorium omgivelser – Når: tidlig i prosessen, sent i prosessen, og alt imellom;)

6 Bruce Tognazzini – om ”hvorfor evaluere” • Iterativ design, med repetisjon av design og testing, er den eneste måten å forsikre seg om gode resultater. Dersom du ikke har bruker testing som en integrert del av design prosessen så kaster du bort ressurser • Altså: ressursbruk i forhold til måloppnåelse..

7 Hvem skal gjennomføre evalueringen? • De som har laget prototypen eller systemet? • Andre? • Fordeler og ulemper?

8 Øvelse • Tenk deg at du sender bort dine prototype (oblig 2) til et firma (eller en annen gruppe) som skal gjøre evalueringen av prototypen – Hva trenger dette firmaet av informasjon fra deg? – Tror du resultatene vil skille seg fra de resultatene du selv ville fått?

9 Nivåer – av HVA • Bruker • Tjeneste • Grensesnitt • Nettleser • Applikasjon • HW • Software • Nettverk • Omgivelse • Hva er det vi skal evaluere? Person? Handling? Grensesnitt? Oppgaveløsning? Hardware? Medium? Software? Bruken? Måloppnåelsen? Robusthet? Estetikk?

10 Evaluering - begreper • Analytisk evaluering • Kontrollerte eksperimenter • Felt studie • Formativ evaluering • Heuristisk evaluering • Prediktiv evaluering • Summative evaluering • Brukbarhets laboratorier • Bruker studier • Brukbarhets studier • Brukbarhets testing • Bruker testing

11 Tilnærminger til evaluering • Brukbarhets testing • Felt studier • Analytisk evaluering • Kombinerte tilnærminger • Opportunistisk evaluering

12 Øvelse • To og to • Oppgave: Still klokken 3 sekunder frem (armbåndsur, mobiltelefon, PC, annet) • Planlegg evalueringen • Gjennomføre evalueringen.

13 Karakteristika ved tilnærmingene • Brukbarhets testing – Brukere gjør oppgaver i kontrollerte omgivelser, målinger og feil blir rapportert • Felt studier – Brukere gjør oppgaver i ”naturlige” omgivelser, beskrivelser blir rapportert • Analytisk – Brukere er ikke involvert, kan gjøres hvorsomhelst, problemer blir rapportert

14 Evaluerings tilnærming og metoder • Brukbarhets testing – Observasjon – Spørre brukere – Testing • Felt studier – Observasjon – Spørre brukere – Spørre eksperter • Analytisk – Spørre eksperter – Modellere

15 Øvelse • Tenk ut – hva er fordeler og ulemper ved – Brukbarhetstesting – Felt studier – Analytisk evaluering

16 Evaluering i ulike kulturer • Lese fra høyre til venstre – eller venstre til høyre? • Bar hud/fotografier/kvinne/mann • Metaforer – opp ned;)

17 Oppsummering • Evaluering og design er sentralt i bruker - sentrert utvikling • Noen av de samme teknikkene blir benyttet for krav etablering • Tre tilnærminger: – Brukbarhets testing – Felt studier – Analytisk evaluering

18 Oppsummering - fortsettelse • Metoder for evaluering – Observasjon – Spørre brukere – Spørre eksperter – Bruker testing – Inspeksjon – Modellere brukeres oppgaveløsning • Triangulering betyr å benytte ulike teknikker for å oppnå flere perspektiver, eller å analysere data ved ulike teknikker • Å jobbe med begrensninger er sentralt for de som gjør evelaueringer

19 DECIDE (BUVIBE) • Determine goals – Bestemme mål • Explore the questions – Utforske spørsmålene • Choose the evaluation approach and methods – Velge evaluerings tilnærming og metoder • Identify the practical issues – Identifiser de praktiske forholdene • Decide how to deal with ethical issues – Beslutte hvordan etiske spørsmål skal håndteres • Evaluate, analyze, interpret and present the data – Evaluere, analysere, tolke og presentere dataene

20 Bestemme målene • Hva er målene for evalueringen? • Hvem vil ha resultatene – og hvorfor? • Målene vil influere evalueringsmåten? • Eksempler på mål: – Identifiser den beste metaforen for en gitt design? – Sjekk at grensesnittet er konsekvent (consistent) – Undersøke på hvilke måter teknologien endrer arbeidspraksis? – Forbedre brukbarheten til en eksisterende løsning

21 Utforske spørsmålene • For all evaluering trengs mål og spørsmål • Eksempel: Et mål er å finne ut hvorfor mange brukere foretrekker å kjøpe papirbasert billett fremfor elektronisk billett – dette spørsmålet kan deles opp/operasjonaliseres til: – Hva er brukerens holdninger til elektroniske billetter? – Er brukerene bekymret eller opptatt av sikkerhet? – Hvordan oppleves brukergrensesnittet. – Og disse tre spørsmålene kan operasjonaliseres ytterligere.

22 Velg evaluerings tilnærming og metoder • Evaluerings tilnærming påvirker hvilke metoder som benyttes, og hvordan data blir samlet, analysert og presentert • For eksempel vil feltstudier typisk: – Involvere observasjoner og intervjuer – Være ute i ”felten”, altså ikke laboratorium omgivelser – Data som samles er oftest kvalitative

23 Identifiser praktiske forhold • Hvordan velge brukere? • Håndtere budsjett og kostnader? • Håndtere tidsfrister og tidsrammer? • Finne de som skal evaluere? • Velge utstyr som skal benyttes for å gjennomføre evalueringen og samle inn data

24 Bestemme hvordan etiske spørsmål skal håndteres • Utvikle et ”informert samtykke” dokument/presentasjon • Deltagere har rett til: – Å vite hva som er målet med studien – Å vite hva som gjøres med funnene og dataene fra studien – Vern av personlig informasjon som blir gitt – Å trekke seg fra studien når de ønsker – Å bli behandlet høflig

25 Evaluere, tolke og presentere data • Tilnærmingen som benyttes påvirker hvordan data blir evaluert, tolket og presentert • Følgende vurderes: – Pålitelighet (reliability) – Gyldighet (validity) – Bias – Omfang – Økologisk gyldighet: hvordan påvirker miljøet funnene (Hawthorn effekt)

26 DECIDE oppsummering • Determine goals – Bestemme mål • Explore the questions – Utforske spørsmålene • Choose the evaluation approach and methods – Velge evaluerings tilnærming og metoder • Identify the practical issues – Identifiser de praktiske forholdene • Decide how to deal with ethical issues – Beslutte hvordan etiske spørsmål skal håndteres • Evaluate, analyze, interpret and present the data – Evaluere, analysere, tolke og presentere dataene


Laste ned ppt "Evaluering INF 1500; introduksjon til design, bruk og interaksjon 8 november 2010."

Liknende presentasjoner


Annonser fra Google