Måling Bruk av spørreskjema Inge Jan Henjesand Handelshøyskolen BI

Utgangspunkt for måling Valg av undersøkelsesopplegg Eksplorartive undersøkelsesopplegg Beskrivende undersøkelsesopplegg Kausale undersøkelsesopplegg

Definisjon på måling Tilordning av tallverdier som karakteriserer objekter, personer,tilstander eller hendelser i henhold til spesifiserte regler og prosedyrer

Måleprosessen Teori Teoretiske begreper Teoretiske relasjoner Teoriplan Empiriplan Empiriske variabler Relasjon mellom empiriske varaibler Empiriske data

Sentralisering av beslutningsmyndighet Eksempel: Sentralisering av beslutningsmyndighet Teoretisk, konseptuell definisjon: location of decisional authority Operasjonell definisjon location of the power to make and implement decisions that are binding for the actors (concentration with respect to a vertical level within the distribution channel)

Sentralisering av beslutningsmyndighet Eksempel: Sentralisering av beslutningsmyndighet Operasjonelle indikatorer (målt ved hjelp av en 5-punkts Likert skala) the producer determines by himself the time for slaughtering the fish the producer determines (chooses) the exporter all by himself the producer determines by himself the delivery of the fish the exporter has no right to intervene regarding feeding of fish the exporter has no influence with respect to questions regarding the quality of the fish

Målenivåer Nominal Ordinal Intervall Ratio

Målingsnøyaktighet Klassisk måleteori X(O) = X(T) + S + R S = systematiske kilder til feil, som for eksempel stabile karakteristika ved objektet som påvirker scoren R = random (tilfeldige) kilder til feil som for eksempel forbigående personlige faktorer

Målingsnøyaktighet Reliabilitet Validitet Sammenlignbare mål på det samme begrepet er i overenstemmelse med hverandre R = 0 Validitet Avvik i observerte scorer reflekterer virkelige forskjeller ved egenskapen man forsøker å måle ingenting ellers X(O) = X(T)

Målingsnøyaktighet Reliabilitet test - retest alternative former Stabilitet test - retest Homogenitet alternative former intern sammenligning/samvariasjon split-half Chronbach`s alpha

Målingsnøyaktighet Validitet konvergent validitet Innholdsvaliditet Kriterierelatert validitet Begrepsvaliditet konvergent validitet diskriminant validitet nomologisk validitet

Prosedyre for utvikling av mål Spesifiser begrepsdomene Generer et utvalg indikatorer Samle inn data Velge gode indikatorer(rendyrking) Vurder relaibilitet Vurder validitet Utvikle normer

Survey undersøkelser og bruk av spørreskjema Rugg (1941): Do you think the United States should forbid public speeches against democracy? Yes: 54% Do you think the United States should allow public speeches against democracy? no: 75%

En modell av svargivning i en spørreundersøkelse Respondent handlinger Produkt/ Tjeneste Bruks erfaring Evaluering Respons Denne figuren illustrerer hva vi står overfor når vi skal vurdere kvaliteten i data som er samlet inn i en surveyundersøkelse Eksempel fra hotellundersøkelsene Måle- prosedyre Situasjon

Forskning om survey metode 1940 - årene og tidlig 50 - årene --> “QUESTION WORDING”. - ad hoc, sjelden fundert på teoretiske betraktninger - behov for altomfattende teori for å stille spørsmål - pga. manglende teoretisk rammeverk måtte man starte på nytt for hvert spørsmål, forskere mistet interessen --> Cantril (1944),” Gauging public opinion” og Payne (1951), “The art of asking questions” OUESTION WORDING Forskere hevdet ikke å være opptatt av de spesifikke resultatene basert på et spesifikt spørsmål, men av relasjoner mellom variabler Man håpet at relasjonene ikke ble påvirket av spørsmåls- effekter (“form resistant correlations”) RESPONSEFFEKTER Schuman og presser (1981) “Question and answers in attitude surveys” Antakelsen om “form resistant correlations” falt Relasjoner mellom variabler påvirkes av de spesifikke spørsmålene

Forskning om survey metode 1950 - årene til 1970 - årene --> RESPONSEFFEKTER - fra karakteristika ved spørsmål til karakteristika ved respondent og intervjueratferd - karakteristika ved oppgaven (task effekter) viktigste kilde til responseffekt. - ny interesse for spørsmålkarakterisika. --> Sudman og Bradburn (1974), “Response effects in surveys, A review and synthesis” OUESTION WORDING Forskere hevdet ikke å være opptatt av de spesifikke resultatene basert på et spesifikt spørsmål, men av relasjoner mellom variabler Man håpet at relasjonene ikke ble påvirket av spørsmåls- effekter (“form resistant correlations”) RESPONSEFFEKTER Schuman og presser (1981) “Question and answers in attitude surveys” Antakelsen om “form resistant correlations” falt Relasjoner mellom variabler påvirkes av de spesifikke spørsmålene

Forskning om survey metode 1980 - årene og 1990 - årene --> KOGNITIVE TILNÆRMINGER - samarbeid mellom kognitive psykologer og survey forskere - forklaring vs. prediksjon - språkforskning og kommunikasjon --> Tanur (1991) “Questions about questions” Hippler, Schwarz og Sudman (1987), “Social information processing and survey methodology” To konferanser har fått viktig innflytelse 1983, U.S National Academy - fokus på rapportering av atferd 1984 ZUMA (Center for Surveys, Methods and Analysis i Mannheim - fokus på holdningsmålinger

Metodiske tilnærminger til studier av spørre- skjemaeffekter i surveyundersøkelser Fokus på ulike typer feilkilder (measurement error) • To forskjellige utgangspunkt: Survey statistikk og psykometri • Survey statistikk avvik i survey resultater fra sanne refleksjoner av populasjonen Bias og varians når survey benyttes som grunnlag for å estimere gjennomsnitt, forholdstall og summer (beskrivelser) Bias: avvik fra den underliggende sanne statistiske verdien Varians: avvik fra den sanne verdien på et survey spørsmål som resultat av variasjoner på tvers av replikasjoner (variable error) Bias: eks et mål på gjennomsnittlig antall år med utdannelse er skjevt dersom det ligger over eller under den “sanne” verdien i populasjonen Varians/variable error: Oftest fokusert på intervjuer som tilfører varians tilmålingene Fire hovedkilder til målefeil intervjuer respondent spørreskjemaet administrasjon av undersøkelsen

Potensielle kilder til målefeil (responseffekter) • Intervjuer effekter • Oppgaveeffekter (task) - Administrasjon av undersøkelsen (sensitive tema) - Ordlyd på spørsmål - endrer meningsinnholdet i spørsmålet - elisitere ulikt ladete assosiasjoner - endre oppfatning av oppgave ved svargivning - spørsmålslengde vs. enkle spørsmål - åpne eller lukkede spørsmål - responskategorier - balansert eller ensidig - midt alternativ - rekkefølge på responsalternativer - vurderingsskalaer og rangeringsskalaer - bruk av “vet ikke” alternativ - rekkefølge på spørsmål (overflødig, konsistens) - minne Ordlyd: elisitere ulikt ladete assosiasjoner: jfr communist endre oppfatning av oppgave: jfr forby /tillate -->Respondenten ser på implikasjonene av “å gjøre noe” Spørsmålslengde: Enkle spørsmål viktigere enn korte spørsmål Andrews (1984) 16 ord Åpne vs. lukkede spm.: mer sannsynlig å få svar på spm med lukkede svaralternativer, krever grundig forarbeid for å kartlegge alle mulige responsalternativ kognitivt utgangspunkt: åpne spørsmål: free recall, lukkede spørsmål: recognition Responskategorier: Balansert vs ensidig jfr: forby tillate vs forby,. Anbefaling om bruk av balanserte alt. Rekkefølge på responsalt. mer bruk av responsalternativer først på listen Vurderingsskalaer: benevnelse på endepunkter, 7±2 skalaverdier vanlig anbefaling Rangeringsskalaer: rangering av mer en fem til seks item er en vanskelig oppgave Rekkefølge på spørsmål: motivasjonshensyn og kognitive hensyn (kommer tilbake til disse) Minne: Problemer ved rapportering av tidligere atferd å gi kategorier øker responsrate, men reduserer nøyaktighet

- response set (fremstille seg selv i et spesielt lys) • Respondent effekter - response set (fremstille seg selv i et spesielt lys) - response style (svare på en bestemt måte uavhengig av spørsmål) - respons tendenser • føyelig • jukser • ønskelig • avvikende • defensiv • kritisk • extrem • ikke konsistens Response tendencies: avvikende: gir feil svar med vilje defensiv: velge midterste alternativ

Validitet og reliabilitet • Psykometri Validitet og reliabilitet når survey benyttes som grunnlag for å estimere regressjonskoeffisienter, korrelasjonskoeffisienter og parameterestimater (modellering) Utgangspunkt i klassisk testteori (classical true score theory): X = T + e Når flere spørsmål inngår i en måleskala for å måle det samme begrepet “Rendyrking av måleskalaen” Validitet: Konvergent og divergent validitet (Faktoranalyse) Reliabilitet: korrelasjon mellom målinger (test-retest korrelasjoner og Chronbach´s alpha) Utvikling av måleskalaer i teoriforskning Korrelasjon mellom variabler bruk av flere spørsmål for å måle det samme begrepet Fange opp hele domenet (eks service begrepet) Tradisjonell fremgangsmåte: Faktoranalyse for diskriminant og konvergent validitet Chronbacs Alpha for reliabilitet Lisrel og bekreftende faktoranlyse

• To ulike formål med å være opptatt av målefeil --> estimere størrelse på feil vs. eliminere/redusere målefeil • Ulike tilnærminger til studier av målefeil --> kognitive laboratorier --> mål som er eksterne i forhold til en spesifikk survey --> “split sample” eksperimenter --> gjentatte målinger av de samme respondenter --> metaanalyse • Kjennetegn ved de metodiske tilnærmingene: --> Stimulus - Respons kognitive laboratorier - ikke typisk design ved disse tilnærmingene - “think loud” prosedyrer - response latency som indikator på dybde i informasjons- behandling - fokus på bias Mål som er eksterne: validation study, record check study - sammenligne resultat av måling med andre eksterne data (antar at andre kilder er uten målefeil) jfr. kriterie- relatert validitet Split sample eksperimenter - feltstudier, sørge for at effektene er sanne (design) - bærer ofte preg av at man ønsket å gjøre noe metodisk i forbindelse med en annen undersøkelse Repeterte målinger for samme person - fokus på varians i målinger, reliabilitet (test-retest) - multiple mål og multi trait-multi-method Metaanalyser

Teoretiske (kognitive) tilnærminger til studier av spørreskjemaeffekter i surveyundersøkelser Et intervju kan oppfattes som en sosial aktivitet som innebærer bytte Prinsipper for sosialt bytte: Clark og Schober (1991) “Asking questions and influencing answers” Survey vs. sosialt bytte 1. En type bytte: spørsmål og svar 2. Retning og rekkefølge er bestemt av skriftlige spørsmål 3. Spørsmålsstilleren er normalt ikke tilstede 4. Felles forståelse er ikke mulig å sikre 5. Respondenter kan bruke regler for sosial interaksjon --> Identifikasjon av de psykologiske mekanismer som er relevante i en surveysituasjon kan gi en bedre forståelse av spørreskjemaeffekter

Respondentens oppgaver ved svargivning på survey spørsmål Svargivningsprosessen består av (minst) fire kognitive oppgaver: 1. Respondentene må tolke spørsmålet 2. Respondentene må gjøre seg opp en mening/oppfatning om temaet (vurdering) 3. Respondentene må tilpasse meningen/oppfatningen til responsformatet i spørreskjemaet 4. Respondentene kan redigere svargivningen

Tolking av spørsmålet Mening/oppfatning Fremkalle relevant informasjon tidl. vurd. Vurdering lagret? Ja Nei Hvordan bruke informasjon? Foreta vurdering Formatere respons Ulike kognitive teorier er aktuelle for å forstå hva som skjer på de ulike trinnene i svargivningsprosessen Hvilke mekanismer? - Semantiske nettverk - Priming - Konstruksjon/inferens - Hukommelsesteorier - Heuristikker - Relevance / accessibility / salience - Kategorisering - Encoding og retrieval - Holdningsteori - Attibusjonsteori - informasjonsintegrasjonsteori Redigere respons

Tolking av spørsmålet Tre informasjonskilder kan påvirke tolking: 1. Innholdet i spørsmålet - Forstå det semantiske meningsinnholdet i ordene som benyttes - Passiv / automatisk eller aktiv / problemløsning 2. Responsskalaen - Tilgjengelige responsalternativer spesifiserer hva spørsmålsstilleren er ute etter 3. Tidligere spørsmål - Kan aktivere begreper som kan påvirke tolking - Informere respondenten om hva spørsmålsstilleren allerede vet Payne (1951), “The art of asking questions” problemord: any, anybody,anyone, anything osv. Tidligere spørsmål: aktivering av informasjon som påvirker tolkning eks “drug” (tvetydig ord) Alt 1: spm om resepter og apotek først --> “drug” tolkes som medisin alt 2: spm om gatekriminalitet først --> “drug” tolkes som narkotika

Dannelse av oppfatning/mening Respondenter kan svare på spørsmål uten å gå gjennom alle trinn i prosessen, men ved å fremkalle en tidligere vurdering Tidligere vurderinger kan lettere fremkalles dersom: 1. Tema er viktig 2. Vurderingene er relatert til handling 3. Man har blitt spurt tidligere

Dannelse av oppfatning/mening Ofte har ikke respondenter gjort seg opp noen oppfatning eller mening om det som det spørres etter --> Vurderingen må foretas mens intervjuet pågår og respondenten må fremkalle/aktivere relevant informasjon Hvor ofte, og hvor lenge siden tidligere aktivering? Tidligere spørsmål regnes som den viktigste kilden til å aktivere informasjon som er relevant for å svare på etterfølgende spørsmål Ulike typer informasjon som kan aktiveres: 1. Andre eksemplarer av kategorien det spørres etter 2. Spesifikke egenskaper 3. Normative standarder 4. Egne kunnskaper og atferd 5. Humør Andre eksemplarer av kategorien: - et annet hotell, en annen politiker Spesifikke egenskaper: - andre sider ved politikken - andre egenskaper ved produktet Normative standarder: - svargivning på viktighetsspørsmål Egne kunnskaper og atferd: - hvor ofte har du gitt til veldedighet/gode formål? - hva er din holdning til frivillige organisasjoner? Humør: - tenk på positive/negative hendelser i livet - totalvurderinger av oppfatningen hvor godt man har det

Formatering av respons Vanligvis må respons uttrykkes i kategorier gitt av forskeren --> respondenten kan ikke bruke sine naturlige kategorier 1. Responsalternativer kan bidra til tolking av hva som er aktuelle svar på spørsmålet 2. Responsalternativer kan føre til forankringseffekter Redigering av respons Sosiale normer Negativ selv-rapportering - sosialt uønsket Rapportering av tilfredshet og vurderinger skjeve i positiv retning Formatering av respons: tolking av hva som er aktuelle svar plassere seg selv i forhold til de aktuelle svarene Forankringseffekter Holdningsskalaer -5 -5 vs 0 - 10 Flere som svarte mellom 0 og 5 enn mellom -5 og 0 på det samme spørsmålet

Antakelser om respondenten 1. Respondenten har informasjonen 2. Respondenten forstår spørsmålet 3. Respondenten kan svare 4. Respondenten vil svare Antakelsene påvirkes av : a) utvalg b) spørsmålskriving c) spørresskjemautforming d) intervjusetting / betingelser

Prosedyre for utvikling av spørreskjema Trinn 1: Spesifisere hvilken informasjon man trenger Beskrivende og kausale undersøkelser - krever tilstrekkelig forkunnskaper for å kunne formulere hypoteser som kan styre undersøkelsesprosessen og utforming av spørreskjema - Bruk av “dummy tabeller” for å strukturere informasjonsbehovet Ex: shop preferences vs. age segments Preferences for: Age Dressmann Hennes & Mauritz Cubus ---> 30 30 - 39 40 ---> Eksplorative undersøkelser - løst strukturerte spørreskjema / intervjuguide

Trinn 2: Bestemme spørreskjematype og administrasjonsmetode Beslutninger om struktur og grad av åpenhet Administert ved postal spørreundersøkelse, telefon eller personlig intervju

Postal spørreundersøkelse Fordeler: • lavere kostnader (kan være eneste mulige innsamlingsmetode) • Reduksjon i skjevhet som skyldes intervjuer som feilkilde • Større anonymitet • Mulighet for å tenke gjennom svarene(der dette er ønskelig) • Tillater en større geografisk kontaktflate med minimale kostnader Ulemper: • Krever enkle spørsmål (små muligheter for forklaringer) • Ingen muligheter for å få respondentene til å utdype svarene (svarene er fakta) • Ingen kontroll over hvem som fyller ut spørreskjemaet • Lav responsrate som kan påvirke funnene i undersøkelsen

Personlig intervju (personlig intervju vs. postal spørreundersøkelse) Fordeler: • Større fleksibilitet, mulighet for tilpasninger • Kontroll over intervjusituasjonen • Høy responsrate • Supplerende informasjon kan samles inn Ulemper: • Høyere kostnader • Intervjuer kan bidra til skjevhet i dataene (påvirkning) • Mangel på anonymitet

Telefon intervju Fordeler og ulemper • Moderate kostnader • Høy responsrate • Moderat kontroll over intervjusituasjonen • Moderat mulighet for større geografisk kontaktflate • Moderate muligheter for å innhente detaljert informasjon • Hurtig datainnsamlingsmetode

Trinn 3: Bestemme innhold i hvert enkelt spørsmål Er spørsmålet nødvendig? - hypotheser og “dummy tabeller” Er flere spørsmål nødvendig isteden for ett spørsmål? - ulike referanserammer for svargivning -->bryt spørsmålet opp i flere spørsmål Ex: Hvorfor bruker du Colgate? (1. reduserer hull, 2.anbefalt av tannlege) ---> Hvordan begynte du å benytte Colgate? ---> Hva er den primære årsaken til at du bruker Colgate?

Har respondentene den nødvendige informasjon? - vi vil få svar på de fleste spørsmål, spørsmålet er om svarene gir mening (re. svargivningsprosessen) Vil respondentene gi informasjonen? - villighet til å svare er en funksjon av: • mengde arbeid involvert ved å svare på spørsmålet • evne til å formulere et svar • hvor sensitivt temaet er - oppmerksomhet mot hvordan temaet er presentert, spørsmålsplassering og ordlyd Tommelfingerregler: 1. “gjemme” spørsmålet sammen med andre spørsmål 2. understreke at atferden eller holdningen ikke er uvanlig 3. fremstille spørsmålet relatert til andre og hvordan man tror disse ville svart 4. benytte svarkategorier i spørreskjemaet

Trinn 4: Bestemme responsform på spørsmålene Åpne spørsmål Ex: Hvor gammel er du? Har du planer om å, kjøpe ny bil i år? Hvorfor kjøpte du et “Phillips farge TV”? - Benyttes ofte i begynnelsen på spørreskjema, eller for å få utfyllende informasjon Lukkede spørsmål (med flere svarkategorier) - Tillater ikke respondentene å benytte sine “sanne” svarkategorier - Skal det benyttes “vet ikke” eller “ingen oppfatning” alternativer? - Svaralternativene må være gjensidig utelukkende

Dikotome spørsmål? Ex: Har du planer om å kjøpe ny bil dette året? 1. ja 2. nei Tror du bensin vil bli dyrere eller billigere neste år enn den er nå? 1. dyrere 2. billigere Skalaer - Noncomparative rating scale - Graphic noncomparative rating scale (continious rating scale)

- Itemized noncomparative rating scale • nature and degree of verbal description • number of categories • balanced or unbalanced alternatives • odd or even number of categories • forced or nonforced scales - Comparative rating scale - Graphic and itemized comparative rating scale - Pairwise measures of preference and discrimination - Rank order rating scale - Constant sum scale Attitude scales - Semantic differential scale - Stapel scale - Likert scale

Trinn 5: Bestemme ordlyd på hvert spørsmål Bruk enkle ord Unngå tvetydige ord og spørsmål Unngå ledende spørsmål Unngå implisitte alternativer (som ikke er tatt med i svaralternativene ) Unngå implisitte antakelser (hva vil skje som følge av) Unngå generaliseringer og estimater (bruk spesifikke spørsmåll) Unngå "dobbeltløpede" spørsmål (bruk av ordet “og”)

Trinn 6: Bestemme rekkefølge på spørsmålene Bruk enkle interessante åpningsspørsmål Bruk “trakt”tilnærming - Starte med et bredt fokus og snevre dette inn utover i spørreskjemaet Benytte “rute-spørsmål” med forsiktighet Spør etter klassifiseringsinformasjontil slutt Plasser vanskelige eller sensitive spørsmål til slutt i spørrreskjemaet

Trinn 7: Bestemme “layout” på spørreskjemaet For å sikre at spørreskjemaet blir akseptert - påvirker respondentens samarbeidsvilje - følgebrev Forenkle kontroll og håndtering - spørreskjema størrelse - layout - rekkefølge på spørsmål Trinn 8: Gjennomgang og revisjon av spørreskjemaet Trinn 9: PRETEST !!!!!!!!

Faktorer som kan påvirke responsraten Sponsor (fremheve hvem som sponser undersøkelsen) Appell (fremheve hvorfor man bør svare) Belønning (økonomisk/ikke-økonomisk) Spørreskjema format (layout, farge, lengde, type følgebrev) Følgebrev (overbevise respondenten om at han må svare) Frankert svarkonvolutt Oppfølging (purring)