Kvantitativ dataanalyse: Prinsipper og eksempler Frode Svartdal Universitetet i Tromsø/Rogaland høgskole 2010

Kvalitativ? Kvantitativ? Diskuteres ikke her Tar for gitt: Tilnærming? Kvalitativ? Kvantitativ? Diskuteres ikke her Tar for gitt: Kvantitativ tilnærming er svært mye brukt Statistikk er et svært nyttig redskap i forskning

Folketall og storkebestand for hvert år i perioden 1930-1936 i Oldenburg

Statistikk Typiske anvendelser Beskrive og oppsummere data fra et utvalg Eksempel: Tabeller, gjennomsnitt, osv. Teste hypoteser (dvs. trekke slutning fra et utvalg til en populasjon) Eksempel: Gruppeforskjeller Gjøre analyser i data for å avdekke mønstre eller strukturer Eksempel: Hvilke personlighetstrekk hører sammen?

Eksempel 1: Beskrivelse av data 12,4 24,3 23,5 35,7 30,6 16,0 28,4 25,2 31,2 31,6 31,8 32,1 31,3 31,8 20,7 25,4 19,7 31,7 25,3 19,4 31,5 32,0 27,5 31,5 29,4 31,5 31,2 31,4 N = 29 Gjennomsnitt: 27,1 Standardavvik: 5,64 Min: 12,4 Max: 35,7

Eksempel 2: Slutning Har tiltak X effekt i reduksjon av atferdsproblemer? Gruppe 1: Tiltak X, 267 deltakere 260 OK, 7 problemelever Gruppe 2: Intet tiltak, 316 300 OK, 21 problemelever Dvs: Vi forsøker å si noe generelt ut fra utvalget Chi-square (df=1) = 4,94, p= 0,026 Ja, tiltak X har effekt --- forutsatt at vi har gjort undersøkelsen korrekt Kritisk her: ???

Eksempel 3: Slutning Eksamensresultater (% av max skåre) på Flervalg og Essay Er det sammenheng mellom karakterene?

Eksempel 4: Slutning Er nivåene forskjellige?

Eksempel 5: Meta-analyse Statistisk prosedyre for å oppsummere funn fra allerede gjennomførte undersøkelser Viktig redskap for å trekke konklusjoner der enkeltundersøkelser ikke tillater en entydig konklusjon, for eksempel noen studier viser forventet effekt noen studier viser motsatt effekt noen viser 0 effekt

Meta-analyse Områder der meta-analyser anvendes: Virker en bestemt terapi-metode? Virker kognitiv atferdsterapi? Virker en bestemt klinisk behandlingsteknikk? Jfr. evidensbasert medisin Hva sier egentlig forskning om en bestemt problemstilling som har vært mye studert? Er effekten av belønning positiv (jfr. undermining)?

Tre aspekter ved et empirisk prosjekt Før undersøkelsen Problemstilling Hva sier tidligere forskning? Selve undersøkelsen Metode, design Type data, analyse Etter undersøkelsen Klare konklusjoner mulig? Relasjon til tidligere funn Implikasjoner (teorietisk, praktisk) Behov for oppfølgende undersøkelser? Orientere seg i litteratur, utmeisle problemstilinger Hvordan kan denne problemstillingen undersøkes? Hva var det vi fant? Presentasjon (artikkel) Hva nå (må vi gå runden på nytt?)

Empirisk prosjekt - statistikk Dataanalyser med et statistikkprogram er et av flere ledd i forskningsprosessen Det er ikke dataanalysene som gjør prosessen til en forskningsprosess Det å "bruke et statistikkprogram" krever en forståelse av hva man gjør Det er ikke noe i veien for å prøve seg frem på eksempler, men man kommer ikke langt uten en froståelse av det statistiske grunnlaget for de analyser man gjennomfører. Statistikkprogrammet er et redskap, og som ellers er må et redskap brukes med vett

Empirisk prosjekt - statistikk Skill mellom resultater og funn Resultatene fremkommer som en mekanisk (men ofte kompleks) regneoperasjon på de tallene vi legger inn i statistikkprogrammet; funn er vår tolkning av resultatene. F.eks. kan vi beregne samvariasjonen (korrelasjonen) mellom helse og inntekt ("vi fant en korrelasjon på 0,46 mellom disse variablene"), men hva dette betyr kan ikke statistikkprogrammet fortelle oss Statistisk signifikans sier noe om et resultat er reliabelt Ville man fått samme resultat om man hadde gjennomført undersøkelsen på et annet utvalg fra samme populasjon?), ikke hvor interessant det er

Empirisk prosjekt - statistikk Mange analyser bygger på bestemte forutsetninger Dette kan angå målenivå, det kan angå krav om normalfordeling, osv. En grafisk fremstilling av resultatene kan ofte være informativ

Noen viktige begreper i statistikk utvalg, populasjon n (antall deltakere) i utvalget Effektstørrelse Signifikans …

Noen viktige metodebegreper Design Typer undersøkelser Beskrivende Korrelasjonell Eksperimentell Korrelasjon (samvariasjon) Kausalitet (årsak-virkning)

Effektstørrelse Effekt viser til ”the degree to which a phenomenon exists” (Cohen, 1977) Hvor stor er en gruppeforskjell? Hvor sterkt samvarierer to variabler? Hvor mange av de som får behandling blir friske, sammenlignet med en kontrollgruppe som ikke får behandling?

Effektstørrelse Flere måter å beregne effektstørrelse på Rate differences, odds ratios, relative risks, mean differences, correlations Flere betegelser på effektstørrelse ES, d, r Vanlig fortolkning av d Liten = 0,20 Medium = 0,50 Stor = 0,80 Fortolkningen kan variere noe fra område til område

Effektstørrelse: Eksempel For to gruppegjennomsnitt: ART: 10 Kontroll: 16 Standardavviket (variasjon i skårene rundt gjennomsnittet) = 8 i kontrollgruppen Effektstørrelse (ES): (10 – 16) / 8 = 0,75 Dvs. Målt i forhold til standardavviket, skårer ART 0,75 høyere enn kontroll Viktig: Jo mer variabilitet i skårene (=høyere standardavvik), desto mindre effektstørrelse

Signifikans Signifikans Effektstørrelse Hvor reliabelt er resultatet (ville vi fått samme utfall hvis vi hadde testet et nytt utvalg fra samme populasjon)? Signifikans sier ikke nødvendigvis noe om hvor viktig et funn er Effektstørrelse Hvor “stor” er effekten

n (antall deltakere) Undersøkelse 1: n = 16 ART: 8 Kontroll: 8 Konklusjon fra undersøkelse 1 er sannsynligvis sikrere enn fra undersøkelse 2; hvorfor?

n Power: Kan undersøkelsen oppdage en effekt hvis den faktisk er der? n er viktig: Få deltakere reduserer power, mange deltakere øker power Hvor mange? Hvis små gruppeforskjeller  øk n Hvis stor variasjon innen gruppene  øk n

Et par gode kilder Kvaløy: Bruk statistikk riktig! http://www.ux.his.no/~jtk/statmet/Rettbruk.pdf

Pitfalls of Data Analysis (or How to Avoid Lies and Damned Lies) Be sure your sample is representative of the population in which you're interested. Be sure you understand the assumptions of your statistical procedures, and be sure they are satisfied. In particular, beware of hierarchically organized (non-independent) data; use techniques designed to deal with them. Be sure you have the right amount of power--not too little, not too much. Be sure to use the best measurement tools available. If your measures have error, take that fact into account. Beware of multiple comparisons. If you must do a lot of tests, try to replicate or use cross-validation to verify your results. Keep clear in your mind what you're trying to discover--don't be seduced by stars in your tables; look at magnitudes rather than p-values. Use numerical notation in a rational way--don't confuse precision with accuracy (and don't let the consumers of your work do so, either). Be sure you understand the conditions for causal inference. If you need to make causal inference, try to use random assignment. If that's not possible, you'll have to devote a lot of effort to uncovering causal relationships with a variety of approaches to the question. Be sure your graphs are accurate and reflect the data variation clearly. http://my.execpc.com/~helberg/pitfalls/