Kvalitetsmålinger ved hjelp av paradata

Presentasjon om: "Kvalitetsmålinger ved hjelp av paradata"— Utskrift av presentasjonen:

1 Kvalitetsmålinger ved hjelp av paradata
Øyvin Kleven og Gustav Haraldsen Seksjon for planlegging og brukertesting Avdeling for datafangst Statistisk sentralbyrå, Norge Nordisk Statistikermøde - København. Danmark August 2010

2 ”Nye datamuligheder” i kvalitetsarbeidet
Nordisk Statistikermøde - København. Danmark August 2010

3 Datainnsamlingsprosessen
Foregår ”utenfor institusjonen” Vanskeligere å måle enn en del andre ”interne prosesser” Men er svært avgjørende for kvaliteten i statistikken I metodelitteraturen ofte pekt at det er svært begrenset hva vi vet om hva som foregår ”ute hos respondenten” Nordisk Statistikermøde - København. Danmark August 2010

4 Datainnsamlingsprosessen
Vi forsøker gjerne å lage gode innsamlingsprosesser ved testing i forkant Siden 1980 tallet vanlig å benytte kognitive intervjuer for å få innblikk i svarprosessen Behov for å utvikle metoder som kan gi oss informasjon om svarprosessen direkte Paradata kan brukes til dette Nordisk Statistikermøde - København. Danmark August 2010

5 Pradata hva er det? Paradata kan defineres som data som beskriver hvordan respondenten fylte ut et spørreskjema i motsetttning til hva de fylte in Server Side Paradata (SSP) er informasjon som genereres i serveren og dreier seg om hvilke websider brukeren klikker seg inn på. Client Side Paradata (CSP) er informasjon om hva som foregår innenfor en webside. Nordisk Statistikermøde - København. Danmark August 2010

6 Bindeledd mellom kvalitative tester og kvalitetsindikatorer for svarprosessen
I SSB har vi benyttet paradata som et supplement til tradisjonelle kvalitative tester av skjema, der hvor vi identifiserer problemer i skjemaet i små strategiske tester kan vi etterprøve det ved paradata. Paradata kan benyttes til å kvantifisere kognitive problemer eller for å identifisere spørsmål som bør testes kvalitativt. Paradata kan dermed sies å ”avsløre” dårlige spørsmål og byrdefulle prosesser som ellers er gjemt inne i elektroniske skjemaer. Nordisk Statistikermøde - København. Danmark August 2010

7 Bindeledd mellom kvalitative tester og kvalitetsindikatorer for svarprosessen
Survey QDET Client side Para data Cognitive process In depth interview Test observations Quality indicators Our research approach is to bridge the cognitive aspects of the question-and answer-process in the questionnaire development and quality indicators collected in a larger sample, such as pilots, or the actual survey. Collection and analysis of client side paradata represents this bridge. Our main hypothesis is that: Client side paradata is highly relevant to assimilate a big scale effect of qualitative observations made in a laboratory test setting. Comparison of the response patterns of paradata and the distribution of quality indicators yields information about the validity and reliability of the answers Now I’d like to illustrate the features of the model. based on the cognitive testing process and the collection of paradata from the Norwegian customer survey, carried out just recently. Nordisk Statistikermøde - København. Danmark August 2010

8 Paradata kan si noe om hvor enkelt respondentene synes det er å svare på et spørsmål
Thinking about last time you bought something from Statistics Norway, were you satisfied or dissatisfied with the following? Give one answer on each line. Very satisfied Satisfied Neither satisfied nor dissatisfied Dissatisfied Very dissatisfied Don’t know Not applicable Avverage response­time with and without outliers Percent who canged their answers The time it took to get in contact with the right person 42 36 8 4 2 12 9.1 4.0 The service given 45 41 7 1 3 2.5 2.1 3.7 Proffesional competence 38 10 5 1.7 3.3 Statistics Norway’s ability to keep deadlines 34 2.6 2.2 5.2 The time it took from first contact to delivery 37 33 14 3.4 3.0 The price you had to pay 31 7,0 4.4 8.1 The product compared with expectations 35 13 4.3 3.8 4.8 Internal coordination of the service given 23 27 16 1.8 Nordisk Statistikermøde - København. Danmark August 2010

9 Eytracker lar oss komme enda lenger inn i hodene på respondentene ved bruk av paradata
Nordisk Statistikermøde - København. Danmark August 2010

10 Fokusområder Nordisk Statistikermøde - København. Danmark August 2010

11 Adferdsregistrering og client side paradata ved Eyetracker
Nordisk Statistikermøde - København. Danmark August 2010

12 Oppsummering Innenfor kvalitetsarbeidet i statistikkbyråene er det viktig å forsøke å måle kvaliteten i de ulike produksjonsprosessene. Den ”eksterne” prosessen å samle inn data er spesielt viktig å måle siden den er helt avgjørende også for kvaliteten på sluttproduktet. Etter elektronifiseringen av datafangsten de siste 10 – 15 år har vi fått nye datakilder som kan hjelpe oss til å måle denne prosessen. Paradata kan sammen med teori og kvalitative metoder bidra til å kaste lys over spørsmål og svar prosessen i datafangst Eytracker teknologi utnytter både tradisjonell kognitiv testing og paradata, sammen gir dette et sterkt måleinstrument for å avdekke målefeil og forbedre våre skjemaer i planleggingsprosessen. Nordisk Statistikermøde - København. Danmark August 2010

13 Takk for oppmerksomheten!
Nordisk Statistikermøde - København. Danmark August 2010