Kvalitetsmålinger ved hjelp av paradata Øyvin Kleven og Gustav Haraldsen Seksjon for planlegging og brukertesting Avdeling for datafangst Statistisk sentralbyrå, Norge Nordisk Statistikermøde - København. Danmark 11-14 August 2010
”Nye datamuligheder” i kvalitetsarbeidet Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Datainnsamlingsprosessen Foregår ”utenfor institusjonen” Vanskeligere å måle enn en del andre ”interne prosesser” Men er svært avgjørende for kvaliteten i statistikken I metodelitteraturen ofte pekt at det er svært begrenset hva vi vet om hva som foregår ”ute hos respondenten” Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Datainnsamlingsprosessen Vi forsøker gjerne å lage gode innsamlingsprosesser ved testing i forkant Siden 1980 tallet vanlig å benytte kognitive intervjuer for å få innblikk i svarprosessen Behov for å utvikle metoder som kan gi oss informasjon om svarprosessen direkte Paradata kan brukes til dette Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Pradata hva er det? Paradata kan defineres som data som beskriver hvordan respondenten fylte ut et spørreskjema i motsetttning til hva de fylte in Server Side Paradata (SSP) er informasjon som genereres i serveren og dreier seg om hvilke websider brukeren klikker seg inn på. Client Side Paradata (CSP) er informasjon om hva som foregår innenfor en webside. Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Bindeledd mellom kvalitative tester og kvalitetsindikatorer for svarprosessen I SSB har vi benyttet paradata som et supplement til tradisjonelle kvalitative tester av skjema, der hvor vi identifiserer problemer i skjemaet i små strategiske tester kan vi etterprøve det ved paradata. Paradata kan benyttes til å kvantifisere kognitive problemer eller for å identifisere spørsmål som bør testes kvalitativt. Paradata kan dermed sies å ”avsløre” dårlige spørsmål og byrdefulle prosesser som ellers er gjemt inne i elektroniske skjemaer. Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Bindeledd mellom kvalitative tester og kvalitetsindikatorer for svarprosessen Survey QDET Client side Para data Cognitive process In depth interview Test observations Quality indicators Our research approach is to bridge the cognitive aspects of the question-and answer-process in the questionnaire development and quality indicators collected in a larger sample, such as pilots, or the actual survey. Collection and analysis of client side paradata represents this bridge. Our main hypothesis is that: Client side paradata is highly relevant to assimilate a big scale effect of qualitative observations made in a laboratory test setting. Comparison of the response patterns of paradata and the distribution of quality indicators yields information about the validity and reliability of the answers Now I’d like to illustrate the features of the model. based on the cognitive testing process and the collection of paradata from the Norwegian customer survey, carried out just recently. Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Paradata kan si noe om hvor enkelt respondentene synes det er å svare på et spørsmål Thinking about last time you bought something from Statistics Norway, were you satisfied or dissatisfied with the following? Give one answer on each line. Very satisfied Satisfied Neither satisfied nor dissatisfied Dissatisfied Very dissatisfied Don’t know Not applicable Avverage responsetime with and without outliers Percent who canged their answers The time it took to get in contact with the right person 42 36 8 4 2 12 9.1 4.0 The service given 45 41 7 1 3 2.5 2.1 3.7 Proffesional competence 38 10 5 1.7 3.3 Statistics Norway’s ability to keep deadlines 34 2.6 2.2 5.2 The time it took from first contact to delivery 37 33 14 3.4 3.0 The price you had to pay 31 7,0 4.4 8.1 The product compared with expectations 35 13 4.3 3.8 4.8 Internal coordination of the service given 23 27 16 1.8 Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Eytracker lar oss komme enda lenger inn i hodene på respondentene ved bruk av paradata Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Fokusområder Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Adferdsregistrering og client side paradata ved Eyetracker Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Oppsummering Innenfor kvalitetsarbeidet i statistikkbyråene er det viktig å forsøke å måle kvaliteten i de ulike produksjonsprosessene. Den ”eksterne” prosessen å samle inn data er spesielt viktig å måle siden den er helt avgjørende også for kvaliteten på sluttproduktet. Etter elektronifiseringen av datafangsten de siste 10 – 15 år har vi fått nye datakilder som kan hjelpe oss til å måle denne prosessen. Paradata kan sammen med teori og kvalitative metoder bidra til å kaste lys over spørsmål og svar prosessen i datafangst Eytracker teknologi utnytter både tradisjonell kognitiv testing og paradata, sammen gir dette et sterkt måleinstrument for å avdekke målefeil og forbedre våre skjemaer i planleggingsprosessen. Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Takk for oppmerksomheten! Nordisk Statistikermøde - København. Danmark 11-14 August 2010