Tre hovedtyper mål på variabler Fysiologiske mål EEG, PET-scan, puls, øyebevegelser m.m Faktisk atferd Frekvens (antall): Antall trykk på knapp, hjelper andre/hjelper ikke o.l Latenstid: reaksjonstid, persepsjonstid o.l. Selv-rapportering Den som testes oppgir selv. Spørreskjema, intelligens- og personlighetstester, holdninger, atferd (selvrapportert) m.m.

Måling av variabler Psykologiske variabler er ofte (abstrakte) begreper som ikke kan observeres direkte Angst, aggresjon, intelligens, depresjon, holdninger m.m. For å måle disse begrepene, må de “oversettes” til observerbare forhold

Eksempel: Operasjonalisering av angst Er anspent og urolig Er lettskremt Angst Bekymrer seg for fremtiden Bekymrer seg for ting som kan gå galt Kan i dette tilfellet måles gjennom observasjon/intervju eller selvrapportering (man vurderer seg selv)

Krav til måleinstrumenter De må være reliable (pålitelige) De må være valide (at de måler det de er tiltenkt å måle) Hvis ikke disse er oppfylt i rimelig grad, er studiet meningsløst

Ulike former for reliabilitet til et måleinstrument Reliabilitet til et måleinstument Inter-rater reliabilitet (reliabilitet til bedømmelser gjort av observatører)

Reliabilitet = pålitelighet i måling Observert skåre = sann skåre + målefeil Eks. en person tar samme evnetest mange ganger: gang sann skåre 105 116 109 110 = sann skåre Avvik fra 110 er målefeil

Ulike metoder å estimerer reliabiliteten til et måleinstrument på Test-retest Finner korrelasjonen mellom to målinger av samme test på forskjellig tidspunkt. Ulemper: endring over tid, kan huske svar fra 1.gangs måling Alternativ form Lager to versjoner av samme test. Lik mht innhold, men har ikke identiske spørsmål. Finner korrelasjonen mellom de to versjonene Ulempe: endring over tid, ikke gitt at de to versjonene er like Split-half En test splittes i to like deler. Administrer testen en gang, finn korrelasjonen mellom de delene Ulempe: ikke sikkert at de to halvdelene er like Indre konsistens Tar utgangspunkt i korrelasjoner mellom spørsmål/items i testen Hvis de måler samme egenskap, skal spørsmålene være korrelerte med hverandre Høy inter-item korrelasjon = god reliabilitet Beregnes med Cronbach’s alpha koeffisient test-retest hvor konsistent testskåre er fra en adm an testen til en annen Tanke bak: differanse i testskåre skyldes målefeil. Bakdeler med denne måten å estimere på: 1) Egenskaper som måles kan endres fra test til restest 2) kan huske hvordan en svarte på første test (’Carry over effekt’ 3) Kan slå opp svar i mellomtiden (mest gjeldende for intelligenstester og kunnskapstester) også vanskelig å administrere Indre konsistens Denne er mest aktuell fordi den er ekle å administrere. (Vis figur med rekursiv modell) Vanlig krav: minimun 0.70, for IQ: 0.90-0.95

Bedømmer-reliabilitet (interrater reliability) Benyttes hvis andre observere en person eller tolker testresultatet Eksempel: skåring av aggressiv atferd/ikke aggressiv atferd, Rorschach ”blekk-klatt test”, Thematic app. Test tat.ppt Flere muligheter: Prosent enighet mellom observatører Cohen’s kappa (kap. 7, 202-203) K=(Po- Pc)/(1- Pc) Beregne korrelasjonen mellom flere observatørers skåre av de samme subjektene (best når gradvise skåringer er benyttet) Les mer om Kappa – ok Pc = (N1 sucsess * N2 sucsess) + (N1 non success * N2 non success) I eksempel fra eksamen: Rorschach: location (hele eller deler av blekklatten), determinants and content

Validitetens mange ansikter Validitet av slutninger fra resultater: intern og ekstern validitet (gjennomgått forrige forelesning) Validitet av målinger (måleinstrument)

Målingsvaliditet – måler vi det vi ønsker å måle? ”Face” validity Innhold (content) Målingsvaliditet Kriterie validitet Validitet kan relateres til to fundamentale spørsmål: 1. Måler testen det den er ment å måle? 2. Kan testen brukes til å foreta beslutninger om individet? Testen bør kunne predikere fremtidig atferd effektivt. Egentlig kunstig å skille mellom disse formene for validitet, I bunn og grunn er egentlig alt begrepsvaliditet validitet er i bunn og grunn alltid en subjektiv vurdering, men vi kan fjerne endel usikekrhet gjennom å bygge på empiriske funn Samtidig (concurrent) Prediktiv (predictive) Begreps (construct)

Face- og innholdsvaliditet Face validity Vurderes av de som man skal gjennomføre målingen på Ser testen ut til å måle det den skal? (forutsetter at man har gitt forsøkpersonene informasjon om dette) Ikke så viktig form for validitet Mest viktig for å unngå at de som deltar i undersøkelsen skal få en negativ innstiling Innholdsvaliditet Vurderes teoretisk av forskere 1. Lag en beskrivelse av det som testen skal måle 2. Går det klart frem hvilket område hvert item/spørsmål måler? 3. Er utvalget av items/spørsmål representative for den egenskap vi ønsker å måle? Dess mer nøyaktig beskrivelse av det man ønsker å måle, dess større tiltro til validiteten - men ingen garanti NB! Face validity ofte brukt synonymt med innholdsvaliditet, f eks i Svartdal Eksempel:vokabulærtest blant 6-åringer. Lett å finne grensen - alle ord som læres i 6.klassetrinn - tilfeldig utvalg av disse vil gi god innholdsvaliditet. Kun ord fra 3. Klasse lav innholdsvaliditet Eller metodeeksamensoppgaver i psykologi struktur - helst flere spørsmål om store områder enn små som begrepet omfatter - ikke bare en type arbeidsoppgaver i en job performance test ofte finner vi innholdsvaliditet gjennom å presentere testens innhold (items) for såkalte eksperter - jo mer konsenses, jo mer sikre er vi på innholdsvaliditet, men likevel ingen garanti eksempel fra GAF-skala. Mål - hvilke områder skal testen omfatte for å gi en global vurdering av hvor krevende /dårlig pasienten er? - Sosial fungerein, kan gå på jobb ol - Grad av vrangforestillinger, hallusinasjoner - aggresivitet/voldelig atferd - generell dømmekraft - selvstendighet mht daglige gjøremål - suicidaltendenser

Kriterievaliditet 3. Samtidig validitet (concurrent) - det praktiske Sammenheng mellom testskåre og andre kriterier som er tilstede på samme tid. Eksempel: Har de med redusert oppmerksomhet større problemer med å ferdes i trafikken enn andre? 4. Prediktiv validitet (predictive) - idealet. Sammenheng mellom skåre på test og skåre på andre mål tatt på et senere tidspunkt Eksempel: Har de med redusert oppmerksomhet større sjanse for å bli involvert i ulykke på et senere tidspunkt? Vanligvis relativt like koeffsienter for pred og samtidig validitet Test for Spiseforstyrrelser og samtidig validitet

Begrepsvaliditet (construct) Det begrep vi ønsker å måle er som regel ikke direkte observerbart Ser om måleinstrumentet ”oppfører” seg som forventet i forhold til andre mål - dette baseres på teori Vurderes statistisk og teoretisk opp i mot mål vi forventer at måleinstrumentet skal korrelere med og mål testen ikke skal korrelere med Eksempel: Ligner på samtidig validitet, med unntak av at man setter opp et nettverk… Tre trinn i en begrepsanalyse: 1. Identifiser atferd som er relatert til begrepet 2. Identifiser andre begreper og bestem om disse er relatert til begrepet som skal måles 3. Finn atferd som er relatert til hvert av begrepene og bestem relasjon mellom begrepet som skal måles Vurderer dermed om begrepet er relatert til andre begrep/tester. hvis som forventet , tryggere på begrepsvaliditeten Eksempel ny og gammel test - samsvar eksempel ny test på angst - forventer at denne har relasjon til depresjon, men ikke antall års utdanning Multitrait Multimatrix method to tidspunkt, to tester på hvert tidspunkt En test med god begrepsvaliditet vil være: 1. Skårer på testen vil være i samsvar med skårer oppnådd på andre målinger av samme begrep 2. Skåre på items som teoretisk er urelatert til begrepet vi ikke korrelere med items fra testen Dominerer i lek Positiv korrelasjon Aggresjon (skolebarn) Ingen korrelasjon Lyver, holder tilbake informasjon

Sammenhengen mellom reliablitet og validitet Reliabilitet er en forutsetning for måleinstrumentets validitet En test kan være reliabel, uten å være valid Men en test kan ikke mangle reliabilitet og være valid samtidig Måleinstrumentets validitet er en forutsetning for slutningsvaliditet (intern og ekstern validitet)

Målenivå på variabler Nominal (nome betyr navn) Ordinal: Tallverdi kun en ”merkelapp” uten å si noe om mengde av egenskap. F eks kjønn (Kvinne = 1, mann =2). Får behandling = 1, får ikke behandling = 2 Ordinal: Rangering av egenskap, men ikke samme avstand mellom tallverdier Aldri (1)– sjelden (2)– av og til (3) – ofte (4) Grunnskole (1), Høyskole (2), Bachelor (3), Master (4), Doktor (5) Intervall fast avstand mellom tallverdier, men ikke absolutt nullpunkt IQ Rationivå/forholdstall – har et absolutt nullpunkt Reaksjonstid, alder, antall ganger man utfører en atferd Fordel med intervall/ratio, fordi man gjøre en rekke statistiske analyser ut I fra disse Mest egnet for videre statistiske analyser 75 80 85 90 95 100 105 110 115 120 125

Andre forhold ved måleinstrumenter Sensitivitet i skåringer. Viktig å skåre på en måte som gjør det mulig å differensiere best mulig. F eks Unngå ”ja” og ”nei” spørsmål ”Tak” og ”gulv” effekter. Vil helst unngå disse. Hvis alle som tar testen skårer likt, er det liten hensikt å benytte test. Problematisk for statistiske analyser Tilpasning av måleinstrumentet til de som skal ta testen Sjekk at språk og svarkategorier er lett å forstå, at instrukser ikke misforstås og lignende Slike problem kan lett avdekkes gjennom å prøve ut måleinstrumentet på et lite utvalg først (pilot-studie) Økologisk validitet – tilsvarer vårt mål det folk gjør i det faktiske liv?

Reaktivitet i psykologiske målinger Deltagerne påvirkes av å bli observert, påvirker reliabilitet og/eller validitet Innstilling til forsøkspersoner Holdning til å bli undersøkt Faking good/bad Experimentor bias (den som leder undersøkelsen/samler inn data påvirker resultatene Noen tiltak mot reaktivitet: Single-blind design Double-blind design Kontrollspørsmål