Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

1 Bruk av måleinstrumenter Indekser / skala Rolf.

Liknende presentasjoner


Presentasjon om: "1 Bruk av måleinstrumenter Indekser / skala Rolf."— Utskrift av presentasjonen:

1 1 Bruk av måleinstrumenter Indekser / skala Rolf

2 2 Måling og Forskning (Kap. 2) Vitenskap umulig uten måling  Måling for å beskrive, differensiere, forklare, predikere, diagnostisere, foreta valg.  Mange mål er indirekte.  Fenomenet blir ikke målt direkte. Vi tror at vi måler fenomenet på bakgrunn av en indikator / sum-skåre  Fokus noen aspekter ved individene, andre ignorert  Forskjellige definisjoner - forskjellig klassifisering

3 3 Måling og Teori  Hva som er relevant å måle bestemmes innen en teori. Måling impliserer teori om operasjonene av variablene og teori om relasjonene mellom variablene i forhold til fenomenet.  Hvilke variabler som skal måles.  Hvordan variablene skal måles.  Latente variabler vs. Manifeste variabler

4 4 x1x1 x2x2 x3x3 Empirisk Begrep 1 x4x4 x5x5 x6x6 Empirisk Begrep 2 eeeeee Latente variabler Observerte variabler Teoretisk Begrep 1 ? Teoretisk Begrep 2 Begrepsvaliditet Utsagn/spørsmål - Begrep

5 5 Målings-skalaer: Nominal-skala  Klassifisering / Kategorisering av objekter.  Kvalitative forskjeller.  Lik på en eller flere egenskaper – ulike på andre.  Forskjellig type, men ikke rangering  Eks.: Kjønn, Student-ikke student, Symptom-ikke symptom....  Kategoriene må være uttømmende og gjensidig utelukkende  Eks.: Sivil status: Gift, Samboende, Enslig.  Andre/annet-kategori

6 6 Målings-skalaer: Ordinal-skala  Kvantitative forskjeller: Rangering i mer/mindre  Avstanden mellom hver kategori er nødvendigvis ikke like stor.  Kan ikke fastslå hvor mye differansen er.  En person kan derfor ikke skåre dobbelt så mye som en annen.  Eks.:  Aldri  Sjelden  Av og til  Ofte  I stor grad  I noen grad  I liten grad  Ikke i det hele tatt

7 7 Målings-skalaer: Intervall  Forskjellen mellom tallene er meningsfulle.  Avstanden mellom hvert tall er like store.  Eks.: Temperatur: Differansen mellom 5-10  C er like stor som differansen mellom  C  Ikke absolutt nullpunkt. Nullpunktet er tilfeldig.  Eks.: 80  C/40  C  176  F/104  F  10  C ikke dobbelt så varmt som 5  C.

8 8 Målings-skalaer: Ratio-skala  Som for intervall-skala, men også med et absolutt null-punkt. Indikerer fravær av egenskapen.  Eks.: Vekt og høyde.  En person kan være dobbelt så lang eller halvparten så lett som en annen.

9 9 Indikatorer og Målingsnivå  Observerte data på ordinal-nivå, den underliggende egenskapen på intervallnivå (kontinuerlig) – en teoretisk antakelse.  Flere enkeltspørsmål på ordinalnivå blir til en dimensjon på intervallnivå (Personlighetsmål).

10 10 Måle-nivå og Analysemetode  Er målene på ordinal- eller intervall-nivå?  Konsekvens for analyser:  Ikke gjennomsnittsverdier og standardavvik hvis ordinal-nivå  Skala-nivået bestemmes ut fra en teoretisk kontekst  Vanligvis greit å bruke matematiske metoder og statistikk som er tilpasset intervall-skala  Nunnally, 1978

11 11 Fra ordnede kategorier til normalfordelte kontinuerlige variabler Strukturelle likningsmodeller:  Terskel-verdier + asymptotisk kovariansmatrise  2 variabler med 3 eller flere variabler  polykorisk korrelasjon.  2 variabler med 2 kategorier  Tetrakorisk korrelasjon  Flere varianter.

12 12 Måling  Statistikk  Hypotesetesting Tolkning av resultater Måling  Statistikk  Hypotesetesting  Måleinstrumentets kvalitet påvirker resultatene fra statistiske analyser.  Hvor meningsfulle resultatene fra data-analyser er kan IKKE skilles fra egenskaper ved måleinstrumentet som ble brukt for å gi oss tallene.  Utgangspunktet for analysene = meningsløse tall. Da er resultatet av analysene også meningsløst.

13 13 Tolkning av resultater  Spesielt vanskelig når bruke sum-skårer, hvis kvaliteten av disse ikke kan vurderes fordi informasjon om dette mangler.  Bruk av sum-skårer kan være problematisk:  Ofte blir flere ledd slått sammen i en skåre. Informasjon kombineres.  Hva blir resultatet?  I tillegg vektes alle variabler likt  Vurdering av en skala: Data-analyse eller holder det med logisk analyse?

14 14 Frukt-teorien = 4 Frukt

15 Metode 1 - Kap. 3 - Rolf G.15 Kriterievaliditet (Kap. 3)  Validitet handler om betydning og definisjoner  et måleinstrument skal ha mening,  være brukbart,  representativt,  gyldig.  i forhold til hva?  Relatert til definisjoner.  Da mulig å foreta slutninger fra test-skårer.  Validering er en viktig del av forskningen.

16 Metode 1 - Kap. 3 - Rolf G.16 Validitet – Vanlig Feiloppfatning  Validering referer ikke til målene i seg selv, men slutninger som blir gjort på basis av de observerte skårene. Vi validerer ikke testen, men tolkningen av data som framkommer ved hjelp av en spesifisert prosedyre (Cronbach, 1971)  Tolkningen er mer/mindre valid avhengig av:  hensikten med kartlegging,  respondenter / utvalg / grupper,  omstendigheter og prosedyrer  historisk utvikling (over tid)

17 Metode 1 - Kap. 3 - Rolf G.17 Klassifisering av validitet:  Innholdsvaliditet  (Face / content) – et område/tema (eks.: jobbprestasjon)  Begrepsvaliditet  Trekk/psykologisk/psykiatrisk dimensjon (eks.: mental evne, holdning, motivasjon, lidelse)  Teori  Kriterievaliditet  Utslag/resultat og prediksjonsverdi (eks.: karakter)  Teoriløs: Prediksjon vs. Forklaring  Psykoteknologi vs. Psykologisk teori

18 18 Begrepsvaliditet (Kap. 4)  Konstrukt – konstruksjon (abstraksjon)  Validering – aktiv prosess  Definisjon av / gi mening til et begrep.  Teori om relasjonen mellom det observerbare og abstrakte begreper  Begrepene igjen inngår i et teoretisk nettverk.  Teori om relasjonene mellom begrep  Organisering av begrep

19 19 Begrep og Indikator  Konstruktvalidering: Validiteten/gyldigheten til slutninger om uobserverbare variabler (begreper/ Latente variabler) på bakgrunn av observerbare variabler (observerte variabler).  ”Et begrep uten virkelig innhold er tomt - Data uten begrep er blinde data." (Immanuel Kant)  Eks: Selvbilde og maskulinitet / femininitet (Nicholls et al.)

20 20 x1x1 x2x2 x3x3 Empirisk Begrep 1 x4x4 x5x5 x6x6 Empirisk Begrep 2 eeeeee Latente variabler Observerte variabler (indikator) Teoretisk Begrep 1 ? Teoretisk Begrep 2 Begrepsvaliditet: Utsagn/spørsmål - Begrep

21 21 Begrepsvaliditet: Tid, sted og kontekst  Betydningsforskjeller?  grupper  steder  kulturer  subkulturer  Tid: Forandre seg over tid pga. historiske hendelser, forandringer i normer, økonomiske betingelser....

22 22 x1x2x3 Begrep 1 x4x5x6 Begrep 1 eeeeee Latente variabler Observerte variabler Begrepsvaliditet Begrep over utvalg / tid

23 23 Reflektive vs. Formative Indikatorer  Reflektive og Formative Indikatorer  Reflektiv indikator: Indikator som effekt av begrepet.   I begynnelsen var begrepet  Formativ indikator: Indikator som årsak til begrepet.  eee Refl begrep i1i1 i2i2 i3i3 i1i1 i2i2 i3i3 Form begrep

24 24 En eller flere Indikatorer?  Bare 1 variabel som indikator på et begrep = TRØBBEL !  Også et klinisk problem: Angst vs. depresjon.  Årsak: Umulig å identifisere ulike kilder med informasjon (og variasjon) i indikatoren.  Eks.:

25 25 En eller flere Indikatorer?  Observert skåre = Sann skåre + Feil skåre (Systematisk variasjon + Tilfeldig / ikke-systematisk variasjon)  Hvis studere relasjonen mellom 2 begrep, som begge blir målt med 1 variabel hver:  da: r indikator,begrep = 1.0 for hvert par.  en relasjon mellom 2 observerte variabler representerer relasjonen mellom 2 begreper.  Dette bygger på antakelser:  Obs. variabel måler begrepet  Feilfri måling av begrepet

26 26 Test-konstruksjon - også vurdering av tester  Definisjoner  Testledd-innhold (items)  Målingsmetode  Betingelser for måling  Retningslinjer for respondentene  Skåringsprosedyrer

27 27 Definisjon av begrepet  Presis definisjon? Logisk konsistent - Teori  Prosedyre:  Hva består det av? Inkludere testledd  Hvordan testledd relatert til andre begrep? Ekskludere.  Definere underdimensjoner av begrepet og forholdet mellom disse:  Høy på en, høy på en annen: hierarkisk faktorstruktur  Høy på en, lav på den andre: Bipolar  Ingen relasjon mellom disse begrepene: Unipolar:

28 28 Testledd (items)  Spørsmålene/utsagnene som fungerer som indikatorer på et bestemt begrep er et utvalg av alle tenkelige ledd som kunne tenkes å representere dette begrepet.  Trekker ut (sampler) ledd fra et domene = Skrive ledd (spørsmål / utsagn).  Styrt av definisjonen av begrepet. Sjekke om konsistent med definisjonen.

29 29 Testledd (items)  Prosedyre  Finn mange testledd.  Seleksjon. Er testleddet representativt for begrepet? Hvilke spørsmål / utsagn måler begrepet best?  Vanskelige uttrykk?  Klart, enkelt og tydelig formulert?  Vurdere i forhold til målgruppen

30 30 Testledd (items)  Én betydning (ikke flertydig)?  Jargong  Antagelser om kunnskap som respondenten kanskje ikke har?  Farget av sosial ønskverdighet?  Ledende  Sensitive forhold?  Tvetydige spørsmål / flere meninger i samme setning. Se etter og/eller i testledd.

31 31 Svarkategori  Hvilke kategorier? Jfr. begrep.  Frekvens  Intensitet  Mengde  Skåringen må også sees i forhold til begrepet som skal måles.  Kontinuerlig skala (ordinal-nivå)?  Unngå nominalt nivå (eks.: ja/nei-kategorier)?  Spredning - Normalfordelt?

32 32 Svarkategori  Kombiner svarkategoriene med utsagnet / spørsmålet? Logiske kombinasjoner?  Eksempler:  Aldri - ? - Alltid  Svært ofte - ? - Svært sjelden  Stemmer helt - ? - Stemmer ikke  Svært lite - ? - Svært mye  Også svarkategorier kan ha flere betydninger.  Eks.: Helt sikker ja - sannsynligvis ja - vet ikke - sannsynligvis nei - helt sikkert nei  NEI = 0, VET IKKE = 1 og JA = 2 ?

33 33 Målingsprosedyre  Retningslinjer for gjennomføring,  item rekkefølge  ordlegging  Administrasjonsbetingelser - Anonymitet  Respons-set (Stort sett enig / uenig): Bruk både positive og negative utsagn.

34 34 Faktoranalyser av Indre Struktur  Korrelasjonsmatrise / kovariansmatrise  Metode for å finne underliggende (latente) variabler som befinner seg "bak" et sett med relasjoner mellom observerbare variabler.  Ulik vekting av de enkelte variabler – Faktorladninger  Relasjon mellom hver indikator og faktor  Eksplorerende (PCA og EFA) og Konfirmerende faktoranalyse (CFA)

35 35 Faktoranalyser av Indre Struktur - CFA  Input: kovarians-matrise  Tester modeller  Alternative forklaringer  Flere modeller kan passe data  Output: kovarians-matrise  Informasjon i matrisen  Tilpasning (goodness of fit): Hvor godt passer disse to matrisene? Hvor mye blir igjen uforklart?  Generaliserbart til populasjonen? V1V2V3v4 V1VarCov V2VarCov V3VarCov V4Var

36 36 Kryss-struktur Analyse  Relasjon til andre begrep  Konvergende validitet  Flere metoder som skal måle samme begrep gir samme resultat  Diskriminerende validitet  Flere metoder som skal måle forskjellige begrep gir forskjellige resultat  Undersøke et begrep med flere metoder  Multitrekk - Multimetode Matrise (MTMM)

37 37 Reliabilitet (Kap. 5) Pålitelighet, stabilitet  Reliabilitet i Måling og Forskning  God reliabilitet er viktig  Reliabilitet er en nødvendig, men ikke en tilstrekkelig, forutsetning for validitet.  Reliabilitet  Validitet

38 38 Repeterte målinger som mål på reliabilitet  Problem: repeterte målinger ikke meningsfullt for mange variabler.  Reelle endringer  Vi forandrer oss – Modning  Situasjonen endres  Rep. målinger gir informasjon. Læring og Hukommelse

39 39 Klassisk Test-teori  Observert varians = Sann varians + Feil varians  Testskåre = Sann skåre (Begrep) + Tilfeldig skåre  Antakelse: Begrepet som blir målt er systematisk og at målefeil er tilfeldig.  Forskjeller mellom individer på en testskåre vil derfor være en følge av sann forskjell og/eller som følge av feil.  Reliabilitetskoeffisienter er et mål på forholdet mellom sann skåre og observert skåre.

40 40 Klassisk Test-teori  Variansmål: Hvor mye av den totale variansen er systematisk? (.80 = 80% systematisk og 20% feil)  Eller: Relasjonen (korrelasjonen) mellom obs.skåre og skåren på en latent teoretisk variabel: Reliabilitetsindeks = Teoretisk validitet.

41 41 Reliabilitet og Utvalg  Reliabiliteten er utvalgsspesifikk.  Samme instrument mer/mindre reliabel, avhengig av variasjonen i populasjonen.  Ikke bruk bare reliabilitetskoeffisienten som er oppgitt med instrumentet da det ble konstruert. Dette bare for sammenligning.  Bruk reliabilitetskoeffisienten for dette utvalget.  Grunnlag for beregning av statistikk.

42 42 Typer reliabilitet: Parallelle mål  Hvordan? Bruk korrelasjonen mellom to mål på begrepet som et estimat på reliabilitet.  Forutsetning: De to målene er like = Parallelle.  Men: sjeldent tilfelle !  Dele opp skalaen i 2: Split-half Reliabilitet  Problematisk metode.  Dele testen i to - Relatere delene til hverandre

43 43 Like skjema / instrumenter  Korrelere skårene fra 2 forskjellige skjema som er laget for å måle det samme.  Forutsetning: Skjemaene er parallelle. Usikkert.  Koeffisienten reflekterer ikke bare reliabiliteten, men også om de to delene måler det samme.  Tidsintervall mellom de 2 målene? Midlertidig / varige endringer hos individene?

44 44 Typer reliabilitet: Test – retest  Gi samme instrument 2 ganger og korrelere disse.  Måler stabilitet  Forutsetning:  Korrelasjonen mellom de to målingene reflekterer en underliggende uobserverbar sann skåre som er konstant – egenskapen har altså ikke forandret seg  Korrelasjonen vil være mindre enn perfekt i den grad tilfeldige feil i instrumentet har forekommet.  Og måler vi egentlig stabilitet? Stoolmiller: kritikk av autoregressive modeller

45 45 Typer reliabilitet: Test – retest  Carry-over effekt - Overestimerer stabiliteten.  Redusere overføringseffekten: Øke tidsintervallet  Skape nytt problem: Virkelige forandringer  Lav test-retest fordi: lav reliabilitet / virkelige forandringer.

46 46 Indre konsistens - en bedre metode  De andre formene:  Kontakte individene 2 ganger  Samarbeid når samme målet igjen eller to like mål.  Bedre med en administrasjon.  Instrument m/ flere ledd som måler samme begrep.

47 47 Indre konsistens Cronbach’s alpha  Homogenitet: Testleddene måler det samme.  Fokus: Hva testleddene/komponentene har felles. Se på relasjonen mellom alle komponentene. Item-varians Total-varians

48 48 Indre konsistens Oppsummert:  Jo flere testledd, jo høyere alpha  Jo sterkere korrelasjoner (kovarianser), jo høyere alpha.

49 49 Alpha for dikotome testledd  Tap av informasjon  Lavere alpha

50 50 Homogenitet i skalaen og indre konsistens  En eller flere dimensjoner?  Homogene testledd - Generell faktor ligger bak og forklarer relasjonen mellom disse. Har god indre konsistens.  Men: Et instrument som har god indre konsistens trenger ikke å være homogent  Generell faktor og spesifikke faktorer, som 2 eller flere faktorer som forklarer interkorrelasjonene.  Høy alpha ikke et bevis for homogenitet.

51 51 Homogenitet, indre konsistens og Validitet  Alpha kan være høy selv om ikke måle det samme begrep / fravær av en generell faktor.  Eksempler på konstruksjon av heterogene testledd og forventning om lav reliabilitet som bevis for vellykket testkonstruksjon.  Dette er uriktig bruk av alpha !!  Lag hver dimensjon separat for å måle de ulike subdimensjonene og  Sjekk om god reliabilitet på hver av disse.

52 52 Multidimensjonale begrep:  Når fokus på måling av et refleksivt begrep, da er lav indre konsistens reliabilitet alltid et negativt bevis – gitt at begrepet er godt representert mht. antall indikatorer.  Når begrepet er formativt: Dette en uaktuell problemstilling eks: eksponering for stressorer, sosioøkonomisk status

53 53 Standarder for Reliabilitet  Grense? α =.70 eller.80?  Beslutningsprosess: Hva er vi villig til å akseptere av feilmåling.  Når i forskningsprosessen?  Men se dette i forhold til antall testledd og korrelasjonenes styrke (er disse som forventet?)

54 54  x1x1 x2x2 x3x3   x      x4x4  x5x5 x6x6     x    y1y1  y2y2 y3y3     y    y4y4  y5y5 y6y6     y                   8 (11) matriser: Målingsmodell:  x   y       Strukturell modell:  Strukturell gjennomsnitt:  x  y  Modeller: Målingsmodell: x =  x   y  y  Strukturell modell:  = B  MÅLINGSTRUKTUR Strukturell Likningsmodellering – SEM Observerte variabler og begreper


Laste ned ppt "1 Bruk av måleinstrumenter Indekser / skala Rolf."

Liknende presentasjoner


Annonser fra Google