ART: Dokumentasjon av behandlingseffekt

ART: Dokumentasjon av behandlingseffekt
Frode Svartdal UiTø/Rogaland høgskole

Dokumentasjon av behandlingseffekt
Spørsmål: Virker aggression replacement training (ART)? Behandlingsopplegg for reduksjon av atferdsproblemer (aggresjon, skulk, mobbing, …) Formål: Dokumentere mulig effekt

ART-trenere: Ca. 12 grupper av studenter (2-3 studenter i hver gruppe) Deltakere: 6 (+/-) elever med atferdsproblemer i hver studentgruppe, i alt ca. 60 elever Randomisering: Tilfeldig fordeling innen til ART og kontroll innen hver studentgruppe Intervensjon: 24 t. ART (tiltak) kontroll = vanlig tjenesteyting Systematisk veiledning og koordinering Internett (omfattende sider) Veiledning og trening på samlingene Veiledning lokalt

Hver studentgruppe: Velger ut to grupper (ca. 6 elever i hver) som matcher hverandre mht atferdsproblemer (noen med få, andre med flere) Randomisering til ART vs. kontroll på gruppenivå Mål på effekt: PRETEST: Testbatteri administreres før intervensjon TEST: Testbatteri administreres etter intervensjon

Testbatteri: SSRS (Social Skills Rating System; Gresham & Elliott, 1990) CADBI (Child and Adolescent Disruptive Behavior Inventory, Burns & Taylor) HIT (How I Think) CBCL (Child Behavior Check List)

ALTSÅ: ART: PRETEST ART TEST Kontroll: PRETEST - TEST Manipulasjon Forskjell Ingen forskjell

Hvordan måle effekt? Pre-test vs. test innen hver gruppe (1) ART vs. kontroll etter behandling (2) Pre-test ART Test Pre-test - Test 1 1 2

Hvordan måle effekt? Statistisk test? Gruppeforskjell (ART vs. kontroll) Endring innen gruppen (ART før vs. etter intervensjon) Flere enkeltmål i testbatteriet

Design? Uavhengige grupper (ART vs. kontroll) Pre-test vs. test for begge gruppene Pre-test og test består av flere enkelttester

Randomisering Randomisert fordeling til betingelsene KRITISK! Randomisert utvalg fra populasjonen ? Randomisering på gruppenivå vs. på individnivå Spesielle problemer!

Trusler mot den indre validiteten Historie Modning Testing Svikt i måleinstrumentene Statistisk regresjon Gruppene var forskjellige i utgangspunktet Utvanning mellom betingelsene

Statistisk konklusjonsvaliditet Er undersøkelsen lagt opp slik at vi kan trekke en gyldig statistisk konklusjon fra våre data? Mulige problemer: Lav statistisk power Antall deltakere: Er 30 ART, 30 kontroll, tilstrekkelig? Brudd på statistiske forutsetninger “Fisking” i data Lite reliable mål Forskjeller i hvordan manipulasjonen gjennomføres Stor variasjon mellom deltakerne

Ytre validitet (populasjonsvaliditet) Kan vi trekke slutning fra vår undersøkelse (med 60 ungdommer) til andre norske ungdommer? Utvalget er ikke et tilfeldig utvalg fra populasjonen, men hentet fra studentenes arbeidsplasser Generelt: Klienter som deltar i klinisk forskning er sjelden utvalgt tilfeldig fra populasjonen

Ytre validitet (økologisk validitet) Kan vi generalisere fra vår undersøkelse (gjennomført under kontrollerte betingelser med rollespill, øvelser, diskusjon) til den “virkelige verden?

Testbatteriet (avhengige mål) Validitet og reliabilitet forutsettes Dokumentert i tidligere undersøkelser Tester med ulikt fokus Atferd Kognisjon Tester fokuserer på problem vs. mulighet Problematferd (CADBI) Sosial kompetanse (SSRS) Tester med ulike skalaer Hvordan kan de sammenlignes? Hver test har flere subskalaer Konsistens i hver subskala?

Hvordan sammenligne resultatene på to forskjellige tester med forskjellige målestokker? Eksempel: Test A: Skårer 1-6 (6 = ”best”) Test B: Skårer 0-80 (80 = ”best”) Løsning 1: Regne om skalaene Løsning 2: Regne om til standardskårer

Hvordan sjekke konsistens i hver subskala i en test? Dokumentert konsistens i subskalaer er en del av dokumentasjonsgrunnlaget for testen Konsistens i skårer kan testes ved Cronbachs Alpha Mål 1 Mål 2 Mål 3 Mål 4 = “Aggresjon” Konsistens i disse målene kan tallfestes (0 = ingen konsistens; 1 = max konsistens) Rimelig grad av konsistens ( ) bør foreligge

Pre-test Uavhengig variabel Test Eksperi-ment-gruppe Test 1 Test 2 Test 3 Test 4 ART – 24 timer Kontroll- gruppe Venteliste R

Signifikanstesting: Nullhypotesen: ”Utvalgene kommer fra samme populasjon”. Vi sjekker: Hvor sannsynlig er det at den observerte forskjellen mellom utvalgene kan oppstå, gitt at utvalgene kommer fra samme populasjon? Forskningshypotesen: ”Utvalgene kommer ikke fra samme populasjon”.

Hvis den observerte forskjellen er svært usannsynlig, gitt at utvalgene stammer fra samme populasjon, forkaster vi 0-hypotesen Grense: 5 av 100 tilfeller (0,05) Avvisning av 0-hypotesen innebærer en indirekte aksept av forskningshypotesen Forskningshypotesen ”bevises” IKKE

Hvordan måle effekt II? Pre-test vs. test innen hver gruppe (1) ART vs. kontroll etter behandling (2) Pre-test ART Test Pre-test - Test

To hovedmål: Sosiale ferdigheter Problematferd Hovedprediksjon: ART-gruppen: + sosiale ferdigheter; - problematferd Kontrollgruppen: Ingen signifikant endring Design: Mellomgruppe: ART vs. kontroll Innengruppe: Pre-test vs. test

Som predikert Som predikert ! PRE-TEST TEST PRE-TEST TEST

ANOVA Separate analyser for hvert avhengige mål hvis disse skal gå i forskjellige retninger sosiale ferdigheter vs. sosiale problemer Hovedeffekter Gruppe (ART vs. kontroll) Test (Pre-test vs. test) Interaksjonseffekt Utvikler gruppene seg forskjellig?

Interaksjon: Spriker kurvene?
Hovedeffekt? Interaksjon: Spriker kurvene?

Statistikk:

ART: Dokumentasjon av behandlingseffekt

Liknende presentasjoner

Presentasjon om: "ART: Dokumentasjon av behandlingseffekt"— Utskrift av presentasjonen:

Liknende presentasjoner

Om prosjektet

Tilbakemelding

Logg inn

Logg deg på via sosiale nettverk:

ART: Dokumentasjon av behandlingseffekt

Liknende presentasjoner

Presentasjon om: "ART: Dokumentasjon av behandlingseffekt"— Utskrift av presentasjonen:

Liknende presentasjoner

Om prosjektet

Tilbakemelding