Forskningsdesign Utformingen av problemstillingen I et forskningsprosjekt bestemmer valg av forskningsdesign. Fire forskjellige alternativ innen forskningsdesign for kvantitativ metode: Survey design (spørreskjema/intervju) Eksperimentelt design Tidsdesign Flernivå-analyse / hierarkisk data

Survey design Svarprosent Kostnad Vurdering personlig intervju høg høg unngår (ansikt til ansikt) misforståelser telefonintervju lavere lav enkle utvalg (husstands- utvalg) post-enquete lav lav høg grad av (sp skjema i posten) anonymitet gruppe-enquete høg lav avklarer lett (sp skjema i grupper) uklarheter

Survey design: operasjonalisering Utforming av spørreskjema (operasjonalisering)‏ Introduksjon til undersøkelsen som er motiverende Utforming av spørsmål (vurder definisjonsmessig validitet) - klare, entydige formuleringer (unngå ledende tekst) - komplekse begrep: framstilles som flere spørsmål Utforming av svaralternativer (definisjonsmessig validitet) - gjensidig utelukkende kategorier (ikke overlappende kateg) - uttømmende kategorier (ta med en Andre – kategori) Eks: tekniske virkemidler brukt i musikkvideo (flere sp.mål) - flerkameraproduksjon _ ja _ nei - fargefilter _ ja _ nei - animasjon _ ja _ nei

Survey design: operasjonalisering Operasjonalisering med en skala med tallfesting eller uten: Sympati-termometer Grafisk vurderingsskala Likert indeks Kumulativ skala

Survey design: vurderingsskala Operasjonalisering med en skala med tallfesting eller uten: Sympati-termometer: eks valgundersøkelsene 1977 – 1997: liker ikke liker - ulike politiske partinavn - 0 ....... 50 .......100 Grafisk vurderingsskala - uten gradering med ekstreme holdninger som ytterpunkt Eksempel: vurder deg selv i forhold til denne skalaen: Personen som er Personen som er mest tilfreds med minst tilfreds med kommunestyret kommunestyret | - - - - - - - - - - - - - - - - - - - - - - - |

Grafisk vurderingsskala: eksempel Eksempel fra forskning innen fysioterapi: (Før trening) Smerteopplevelse: oppgi hvordan du føler deg i dag: ingen smerte sterk smerte | - - - - - - - - - - - - - - - - - - - - - - - | .... 5-6 måneder senere (august til januar): (Etter trening) Smerteopplev.: oppgi hvordan du føler deg i dag: ingen smerte sterk smerte | - - - - - - - - - - - - - - - - - - - - - - - | kvasieksperimentell undersøkelse – deltakerne utgjør sin egen kontrollgruppe – måling for samme person før og etter terapi – der en evt endring tilskrives behandlingen

Grafisk vurderingsskala: eksempel To mulige forklaringer på «ingen endring i smerteopplevelse»: Vanskelig å bruke vurderingsskala måneder senere – husker ikke plassering ved «før trening» Kan påvirkes av sesongmessige endringer i smerteopplevelse – august til januar medfører ofte økt smerte – slik at «ingen endring» egentlig er en forbedring Hvordan unngå dette dilemmaet? - Ta med i operasjonaliseringen en subjektiv vurdering av hvordan den sesongmessige variasjonen er – uten trening. - Denne vurderes i forhold til den subjektive vurderingen av effekten av treningen.

Survey design: Likert indeks Likert indeks er satt sammen av flere utsagn som respondentene skal uttrykke enighet eller uenighet med. Eksempel fra European Social Survey: ESSdata ESS3-2006: Personal and social well-being (abstract concept) Please say how much you agree or disagree with the following: (Presented alternatives: agree strongly ..... disagree strongly)‏ I am optimistic about the future 1 2 3 4 5 I feel very positive about myself 1 2 3 4 5 At times I feel as if I am a failure 1 2 3 4 5 Respondentene ble intervjuet – og intervjuer noterte tall fra 1 – 5 – eller benyttet tallene 7, 8 eller 9 for vil ikke svare, vet ikke etc

Survey design: eksempel fra ESS I European Social Survey (ESS) ble disse spørsmålene slått sammen til en indeks kalt Personal and social well-being Ved kodingen av indeksen var det nødvendig å tolke det siste spørsmålet (At times I feel as if I am a failure) motsatt av de andre to spørsmålene (en verdi 1 tilsvarer en verdi 5 i de «positivt» formulerte spørsmålene) Når alle spørsmål som på denne måten måler ett og samme begrep kan vi gjennomføre en reliabilitetsanalyse, der Cronbachs alpha verdier over 0,7 er en indikasjon på høg reliabilitet. Spørsmålene / utsagnene måler ett og samme begrep. (Cronbachs alpha varierer mellom 0 og 1)‏

Survey design: kumulativ skala Et eksempel på en kumulativ skala er Bogardus-skalaen for «sosial avstand» mellom respondent og en etnisk gruppe: I forhold til den etniske gruppen ________: Er du villig til å: a. Gi vedkommende adgang til nærmeste familie (ekteskap) b. Gi vedkommende adgang til gata som nabo c. Gi vedkommende adgang til landet som borger d. Gi vedkommende adgang til landet som besøkende Her varierer utsagnene fra en «nær sosial avstand» til «stor sosial avstand» - og rekkefølgen av de alternative utsagnene er viktig.

Survey design: kumulativ skala En forventer at Bogardus-skalaen har en kumulativ fordeling: er du enig i svaralternativ A bør du også være enig i B, C og D er du enig i svaralternativ B bør du også være enig i C og D er du enig i svaralternativ C bør du også være enig i D Men - en respondent kan være enig i C uten å være enig i A og B Denne kumulative skalaen kan vises som et Venn-diagram (se neste side / slide)‏ Mer info om Bogardus' Social Distance Scale: http://www.csudh.edu/dearhabermas/bogardus02.htm Bogardus-skalaen er brukt i 50 år og er sikret validitet. Dermed kan vi benytte den til å teste reliabiliteten i en datainnsamling.

Survey design: kumulativ skala Bogardus-skalaen med en kumulativ fordeling (høg reliabilitet): Om fordelingen ikke er slik med sirkler «inni» hverandre – men med A som går utenom B f.eks – så er det en indikasjon på problem med reliabiliteten D C B A

Test for validitet eller reliabilitet Generelt gjelder det at vi kan benytte statistiske tester for validitet eller reliabilitet i en og samme undersøkelse (dvs ikke begge): Statistiske tester for reliabilitet: forutsetter en høg grad av definisjonsmessig validitet i variablene som benyttes Statistiske tester for validitet: forutsetter en høg grad av reliabilitet i datainnsamlingen for de data som benyttes

Survey design: noen varianter ... Tverrsnitt – ett utvalg på ett gitt tidspunkt (vanlig survey)‏ Gjentatte tverrsnitt – to ulike utvalg på to forskjellige tidspunkt Panelundersøkelse – ett og samme utvalg på to forskjellige tidspunkt Retrospektivt panel – ett utvalg der en stiller spørsmål retrospektivt – om forhold for 5 eller 10 år siden (holdninger og atferd på et tidligere tidspunkt)‏