Bruk av måleinstrumenter Indekser / skala

Presentasjon om: "Bruk av måleinstrumenter Indekser / skala"— Utskrift av presentasjonen:

1 Bruk av måleinstrumenter Indekser / skala
Rolf

2 Måling og Forskning (Kap. 2) Vitenskap umulig uten måling
Måling for å beskrive, differensiere, forklare, predikere, diagnostisere, foreta valg. Mange mål er indirekte. Fenomenet blir ikke målt direkte. Vi tror at vi måler fenomenet på bakgrunn av en indikator / sum-skåre Fokus noen aspekter ved individene, andre ignorert Forskjellige definisjoner - forskjellig klassifisering

3 Måling og Teori Hva som er relevant å måle bestemmes innen en teori. Måling impliserer teori om operasjonene av variablene og teori om relasjonene mellom variablene i forhold til fenomenet. Hvilke variabler som skal måles. Hvordan variablene skal måles. Latente variabler vs. Manifeste variabler

4 Begrepsvaliditet Utsagn/spørsmål - Begrep
Teoretisk Begrep 1 Teoretisk Begrep 2 Latente variabler Observerte variabler x1 x2 x3 Empirisk Begrep 1 x4 x5 x6 Empirisk Begrep 2 ? Hvordan vite at en indikator / variabel representerer et begrep? Bare gjennom en teoretisk forankring En indikator kan også representere flere begreper. e

5 Målings-skalaer: Nominal-skala
Klassifisering / Kategorisering av objekter. Kvalitative forskjeller. Lik på en eller flere egenskaper – ulike på andre. Forskjellig type, men ikke rangering Eks.: Kjønn, Student-ikke student, Symptom-ikke symptom.... Kategoriene må være uttømmende og gjensidig utelukkende Eks.: Sivil status: Gift, Samboende, Enslig. Andre/annet-kategori

6 Målings-skalaer: Ordinal-skala
Kvantitative forskjeller: Rangering i mer/mindre Avstanden mellom hver kategori er nødvendigvis ikke like stor. Kan ikke fastslå hvor mye differansen er. En person kan derfor ikke skåre dobbelt så mye som en annen. Eks.:  I stor grad  I noen grad  I liten grad  Ikke i det hele tatt  Aldri  Sjelden  Av og til  Ofte

7 Målings-skalaer: Intervall
Forskjellen mellom tallene er meningsfulle. Avstanden mellom hvert tall er like store. Eks.: Temperatur: Differansen mellom 5-10 C er like stor som differansen mellom 10-15 C Ikke absolutt nullpunkt. Nullpunktet er tilfeldig. Eks.: 80C/40C  176F/104F 10C ikke dobbelt så varmt som 5C.

8 Målings-skalaer: Ratio-skala
Som for intervall-skala, men også med et absolutt null-punkt. Indikerer fravær av egenskapen. Eks.: Vekt og høyde. En person kan være dobbelt så lang eller halvparten så lett som en annen.

9 Indikatorer og Målingsnivå
Observerte data på ordinal-nivå, den underliggende egenskapen på intervallnivå (kontinuerlig) – en teoretisk antakelse. Flere enkeltspørsmål på ordinalnivå blir til en dimensjon på intervallnivå (Personlighetsmål).

10 Måle-nivå og Analysemetode
Er målene på ordinal- eller intervall-nivå? Konsekvens for analyser: Ikke gjennomsnittsverdier og standardavvik hvis ordinal-nivå Skala-nivået bestemmes ut fra en teoretisk kontekst Vanligvis greit å bruke matematiske metoder og statistikk som er tilpasset intervall-skala Nunnally, 1978

11 Fra ordnede kategorier til normalfordelte kontinuerlige variabler
Strukturelle likningsmodeller: Terskel-verdier + asymptotisk kovariansmatrise 2 variabler med 3 eller flere variabler polykorisk korrelasjon. 2 variabler med 2 kategorier Tetrakorisk korrelasjon Flere varianter.

12 Tolkning av resultater Måling  Statistikk  Hypotesetesting
Måleinstrumentets kvalitet påvirker resultatene fra statistiske analyser. Hvor meningsfulle resultatene fra data-analyser er kan IKKE skilles fra egenskaper ved måleinstrumentet som ble brukt for å gi oss tallene. Utgangspunktet for analysene = meningsløse tall. Da er resultatet av analysene også meningsløst.

13 Tolkning av resultater
Spesielt vanskelig når bruke sum-skårer, hvis kvaliteten av disse ikke kan vurderes fordi informasjon om dette mangler. Bruk av sum-skårer kan være problematisk: Ofte blir flere ledd slått sammen i en skåre. Informasjon kombineres. Hva blir resultatet? I tillegg vektes alle variabler likt Vurdering av en skala: Data-analyse eller holder det med logisk analyse? Ofte oversett, også pga. avanserte analyser som faktoranalyser. Maskere dårlige data, med avanserte analyser.

14 Frukt-teorien = 4 Frukt = 4 Frukt = 4 Frukt = 4 Frukt
= 4 Frukt = 4 Frukt = 4 Frukt Eller skal vi si SCL90-R ??? = 4 Frukt

15 Kriterievaliditet (Kap. 3)
Validitet handler om betydning og definisjoner et måleinstrument skal ha mening, være brukbart, representativt, gyldig. i forhold til hva? Relatert til definisjoner. Da mulig å foreta slutninger fra test-skårer. Validering er en viktig del av forskningen. Metode 1 - Kap. 3 - Rolf G.

16 Validitet – Vanlig Feiloppfatning
Validering referer ikke til målene i seg selv, men slutninger som blir gjort på basis av de observerte skårene. Vi validerer ikke testen, men tolkningen av data som framkommer ved hjelp av en spesifisert prosedyre (Cronbach, 1971) Tolkningen er mer/mindre valid avhengig av: hensikten med kartlegging, respondenter / utvalg / grupper, omstendigheter og prosedyrer historisk utvikling (over tid) Metode 1 - Kap. 3 - Rolf G.

17 Klassifisering av validitet:
Innholdsvaliditet (Face / content) – et område/tema (eks.: jobbprestasjon) Begrepsvaliditet Trekk/psykologisk/psykiatrisk dimensjon (eks.: mental evne, holdning, motivasjon, lidelse) Teori Kriterievaliditet Utslag/resultat og prediksjonsverdi (eks.: karakter) Teoriløs: Prediksjon vs. Forklaring Psykoteknologi vs. Psykologisk teori Kriterium Et kriterium er en variabel som man ønsker å forklare / predikere ved å bruke andre variabler (prediktorer). Prediksjon vs. Forklaring. Kaplan (1964): Hvis vi kan predikere vellykket på grunnlag av visse forklaringer, da har vi god grunn til å akseptere forklaringen. Fokus blir ofte bare prediksjon, selv om forklaringen kan være vag eller fraværende. Psykoteknologi vs. Psykologisk teori. Eks.: arbeidsinnsats, flygere, ledere Metode 1 - Kap. 3 - Rolf G.

18 Begrepsvaliditet (Kap. 4)
Konstrukt – konstruksjon (abstraksjon) Validering – aktiv prosess Definisjon av / gi mening til et begrep. Teori om relasjonen mellom det observerbare og abstrakte begreper Begrepene igjen inngår i et teoretisk nettverk. Teori om relasjonene mellom begrep Organisering av begrep

19 Begrep og Indikator Konstruktvalidering: Validiteten/gyldigheten til slutninger om uobserverbare variabler (begreper/ Latente variabler) på bakgrunn av observerbare variabler (observerte variabler). ”Et begrep uten virkelig innhold er tomt - Data uten begrep er blinde data." (Immanuel Kant) Eks: Selvbilde og maskulinitet / femininitet (Nicholls et al.)

20 Begrepsvaliditet: Utsagn/spørsmål - Begrep
Teoretisk Begrep 1 Teoretisk Begrep 2 Latente variabler Observerte variabler (indikator) x1 x2 x3 Empirisk Begrep 1 x4 x5 x6 Empirisk Begrep 2 ? Hvordan vite at en indikator / variabel representerer et begrep? Bare gjennom en teoretisk forankring. En indikator kan også representere flere begreper. En variabel kan være indikator på flere forskjellige begrep OG et begrep ha flere observerbare variabler. Fokus bare på obs. variabel eller fokus på denne variabelen som en del av et begrep? Eks.: verbal evne - økonomisk trygghet/familie livsstil vs. inikatorene på dette begrepet: eie TV, støvsuger, bil Side 53: "Antall bøker og tidsskrifter i studentens hjem hadde større effekt på prestasjon i litteratur enn inntekt og utdannelse i studentens familie". Dette kan være indikatorer på foreldrenes utdannelse, inntekt og sosioøkonomisk status. e

21 Begrepsvaliditet: Tid, sted og kontekst
Betydningsforskjeller? grupper steder kulturer subkulturer Tid: Forandre seg over tid pga. historiske hendelser, forandringer i normer, økonomiske betingelser....

22 Begrepsvaliditet Begrep over utvalg / tid
Latente variabler Observerte variabler x1 x2 x3 Begrep 1 x4 x5 x6 Begrep 1 e Hvordan vite at en indikator / variabel representerer et begrep? Bare gjennom en teoretisk forankring En indikator kan også representere flere begreper.

23 Reflektive vs. Formative Indikatorer
Reflektive og Formative Indikatorer Reflektiv indikator: Indikator som effekt av begrepet.  I begynnelsen var begrepet Formativ indikator: Indikator som årsak til begrepet.  Refl begrep Form begrep i1 i2 i3 i1 i2 i3 e e e

24 En eller flere Indikatorer?
Bare 1 variabel som indikator på et begrep = TRØBBEL ! Også et klinisk problem: Angst vs. depresjon. Årsak: Umulig å identifisere ulike kilder med informasjon (og variasjon) i indikatoren. Eks.:

25 En eller flere Indikatorer?
Observert skåre = Sann skåre + Feil skåre (Systematisk variasjon + Tilfeldig / ikke-systematisk variasjon) Hvis studere relasjonen mellom 2 begrep, som begge blir målt med 1 variabel hver: da: rindikator,begrep = 1.0 for hvert par. en relasjon mellom 2 observerte variabler representerer relasjonen mellom 2 begreper. Dette bygger på antakelser: Obs. variabel måler begrepet Feilfri måling av begrepet

26 Test-konstruksjon - også vurdering av tester
Definisjoner Testledd-innhold (items) Målingsmetode Betingelser for måling Retningslinjer for respondentene Skåringsprosedyrer

27 Definisjon av begrepet
Presis definisjon? Logisk konsistent - Teori Prosedyre: Hva består det av? Inkludere testledd Hvordan testledd relatert til andre begrep? Ekskludere. Definere underdimensjoner av begrepet og forholdet mellom disse: Høy på en, høy på en annen: hierarkisk faktorstruktur Høy på en, lav på den andre: Bipolar Ingen relasjon mellom disse begrepene: Unipolar: Samme begrep ofte benyttet for forskjellige ting. Eks.: Holdning.

28 Testledd (items) Spørsmålene/utsagnene som fungerer som indikatorer på et bestemt begrep er et utvalg av alle tenkelige ledd som kunne tenkes å representere dette begrepet. Trekker ut (sampler) ledd fra et domene = Skrive ledd (spørsmål / utsagn). Styrt av definisjonen av begrepet. Sjekke om konsistent med definisjonen.

29 Testledd (items) Prosedyre Vanskelige uttrykk?
Finn mange testledd. Seleksjon. Er testleddet representativt for begrepet? Hvilke spørsmål / utsagn måler begrepet best? Vanskelige uttrykk? Klart, enkelt og tydelig formulert? Vurdere i forhold til målgruppen

30 Testledd (items) Én betydning (ikke flertydig)? Jargong
Antagelser om kunnskap som respondenten kanskje ikke har? Farget av sosial ønskverdighet? Ledende Sensitive forhold? Tvetydige spørsmål / flere meninger i samme setning. Se etter og/eller i testledd. SensitivtEr det mulig å spørre om dette på en slik måte at den som skal svare ikke reagerer negativt på spørsmålet?

31 Svarkategori Hvilke kategorier? Jfr. begrep.
Frekvens Intensitet Mengde Skåringen må også sees i forhold til begrepet som skal måles. Kontinuerlig skala (ordinal-nivå)? Unngå nominalt nivå (eks.: ja/nei-kategorier)? Spredning - Normalfordelt?

32 Svarkategori Kombiner svarkategoriene med utsagnet / spørsmålet? Logiske kombinasjoner? Eksempler: Aldri - ? - Alltid Svært ofte - ? - Svært sjelden Stemmer helt - ? - Stemmer ikke Svært lite - ? - Svært mye Også svarkategorier kan ha flere betydninger. Eks.: Helt sikker ja - sannsynligvis ja - vet ikke - sannsynligvis nei - helt sikkert nei   NEI = 0, VET IKKE = 1 og JA = 2 ?

33 Målingsprosedyre Retningslinjer for gjennomføring, item rekkefølge
ordlegging Administrasjonsbetingelser - Anonymitet Respons-set (Stort sett enig / uenig): Bruk både positive og negative utsagn. Prosedyren som benyttes for å skåre responsene på en test kan også påvirke validiteten.

34 Faktoranalyser av Indre Struktur
Korrelasjonsmatrise / kovariansmatrise Metode for å finne underliggende (latente) variabler som befinner seg "bak" et sett med relasjoner mellom observerbare variabler. Ulik vekting av de enkelte variabler – Faktorladninger Relasjon mellom hver indikator og faktor Eksplorerende (PCA og EFA) og Konfirmerende faktoranalyse (CFA)

35 Faktoranalyser av Indre Struktur - CFA
Input: kovarians-matrise Tester modeller Alternative forklaringer Flere modeller kan passe data Output: kovarians-matrise Informasjon i matrisen Tilpasning (goodness of fit): Hvor godt passer disse to matrisene? Hvor mye blir igjen uforklart? Generaliserbart til populasjonen? V1 V2 V3 v4 Var Cov V4

36 Kryss-struktur Analyse
Relasjon til andre begrep Konvergende validitet Flere metoder som skal måle samme begrep gir samme resultat Diskriminerende validitet Flere metoder som skal måle forskjellige begrep gir forskjellige resultat Undersøke et begrep med flere metoder Multitrekk - Multimetode Matrise (MTMM)

37 Reliabilitet (Kap. 5) Pålitelighet, stabilitet
Reliabilitet i Måling og Forskning God reliabilitet er viktig Reliabilitet er en nødvendig, men ikke en tilstrekkelig, forutsetning for validitet. Reliabilitet  Validitet

38 Repeterte målinger som mål på reliabilitet
Problem: repeterte målinger ikke meningsfullt for mange variabler. Reelle endringer Vi forandrer oss – Modning Situasjonen endres Rep. målinger gir informasjon. Læring og Hukommelse

39 Klassisk Test-teori Observert varians = Sann varians + Feil varians
Testskåre = Sann skåre (Begrep) + Tilfeldig skåre Antakelse: Begrepet som blir målt er systematisk og at målefeil er tilfeldig. Forskjeller mellom individer på en testskåre vil derfor være en følge av sann forskjell og/eller som følge av feil. Reliabilitetskoeffisienter er et mål på forholdet mellom sann skåre og observert skåre.

40 Klassisk Test-teori Variansmål: Hvor mye av den totale variansen er systematisk? (.80 = 80% systematisk og 20% feil) Eller: Relasjonen (korrelasjonen) mellom obs.skåre og skåren på en latent teoretisk variabel: Reliabilitetsindeks = Teoretisk validitet.

41 Reliabilitet og Utvalg
Reliabiliteten er utvalgsspesifikk. Samme instrument mer/mindre reliabel, avhengig av variasjonen i populasjonen. Ikke bruk bare reliabilitetskoeffisienten som er oppgitt med instrumentet da det ble konstruert. Dette bare for sammenligning. Bruk reliabilitetskoeffisienten for dette utvalget. Grunnlag for beregning av statistikk.

42 Typer reliabilitet: Parallelle mål
Hvordan? Bruk korrelasjonen mellom to mål på begrepet som et estimat på reliabilitet. Forutsetning: De to målene er like = Parallelle. Men: sjeldent tilfelle ! Dele opp skalaen i 2: Split-half Reliabilitet Problematisk metode. Dele testen i to - Relatere delene til hverandre

43 Like skjema / instrumenter
Korrelere skårene fra 2 forskjellige skjema som er laget for å måle det samme. Forutsetning: Skjemaene er parallelle. Usikkert. Koeffisienten reflekterer ikke bare reliabiliteten, men også om de to delene måler det samme. Tidsintervall mellom de 2 målene? Midlertidig / varige endringer hos individene?

44 Typer reliabilitet: Test – retest
Gi samme instrument 2 ganger og korrelere disse. Måler stabilitet Forutsetning: Korrelasjonen mellom de to målingene reflekterer en underliggende uobserverbar sann skåre som er konstant – egenskapen har altså ikke forandret seg Korrelasjonen vil være mindre enn perfekt i den grad tilfeldige feil i instrumentet har forekommet. Og måler vi egentlig stabilitet? Stoolmiller: kritikk av autoregressive modeller

45 Typer reliabilitet: Test – retest
Carry-over effekt - Overestimerer stabiliteten. Redusere overføringseffekten: Øke tidsintervallet Skape nytt problem: Virkelige forandringer Lav test-retest fordi: lav reliabilitet / virkelige forandringer.

46 Indre konsistens - en bedre metode
De andre formene: Kontakte individene 2 ganger Samarbeid når samme målet igjen eller to like mål. Bedre med en administrasjon. Instrument m/ flere ledd som måler samme begrep.

47 Indre konsistens Cronbach’s alpha
Homogenitet: Testleddene måler det samme. Fokus: Hva testleddene/komponentene har felles. Se på relasjonen mellom alle komponentene. Item-varians Total-varians

48 Indre konsistens Oppsummert: Jo flere testledd, jo høyere alpha
Jo sterkere korrelasjoner (kovarianser), jo høyere alpha.

49 Alpha for dikotome testledd
Tap av informasjon Lavere alpha

50 Homogenitet i skalaen og indre konsistens
En eller flere dimensjoner? Homogene testledd - Generell faktor ligger bak og forklarer relasjonen mellom disse. Har god indre konsistens. Men: Et instrument som har god indre konsistens trenger ikke å være homogent Generell faktor og spesifikke faktorer, som 2 eller flere faktorer som forklarer interkorrelasjonene. Høy alpha ikke et bevis for homogenitet.

51 Homogenitet, indre konsistens og Validitet
Alpha kan være høy selv om ikke måle det samme begrep / fravær av en generell faktor. Eksempler på konstruksjon av heterogene testledd og forventning om lav reliabilitet som bevis for vellykket testkonstruksjon. Dette er uriktig bruk av alpha !! Lag hver dimensjon separat for å måle de ulike subdimensjonene og Sjekk om god reliabilitet på hver av disse.

52 Multidimensjonale begrep:
Når fokus på måling av et refleksivt begrep, da er lav indre konsistens reliabilitet alltid et negativt bevis – gitt at begrepet er godt representert mht. antall indikatorer. Når begrepet er formativt: Dette en uaktuell problemstilling eks: eksponering for stressorer, sosioøkonomisk status

53 Standarder for Reliabilitet
Grense? α = .70 eller .80? Beslutningsprosess: Hva er vi villig til å akseptere av feilmåling. Når i forskningsprosessen? Men se dette i forhold til antall testledd og korrelasjonenes styrke (er disse som forventet?)

54 Strukturell Likningsmodellering – SEM Observerte variabler og begreper
z1 MÅLING STRUKTUR y1 e1 y2 y3 e2 e3 l(y)11 h1 y4 e4 y5 y6 e5 e6 l(y)42 h2 q(e)54 d1 d2 d3 x1 x2 x3 l(x)11 j21 b21 g11 g21 g12 x1 x4 d4 x5 x6 d5 d6 l(x)42 x2 z2 8 (11) matriser: Målingsmodell: Lx Ly qd qe f Strukturell modell: G B Y Strukturell gjennomsnitt: tx ty k a Modeller: Målingsmodell: x = Lx x + d y = Ly h + e Strukturell modell: h = B h + G x + z