ART: Dokumentasjon av behandlingseffekt Frode Svartdal UiTø/Rogaland høgskole 2003-2005

Dokumentasjon av behandlingseffekt Spørsmål: Virker aggression replacement training (ART)? Behandlingsopplegg for reduksjon av atferdsproblemer (aggresjon, skulk, mobbing, …) Formål: Dokumentere mulig effekt

Dokumentasjon av behandlingseffekt ART-trenere: Ca. 12 grupper av studenter (2-3 studenter i hver gruppe) Deltakere: 6 (+/-) elever med atferdsproblemer i hver studentgruppe, i alt ca. 60 elever Randomisering: Tilfeldig fordeling innen til ART og kontroll innen hver studentgruppe Intervensjon: 24 t. ART (tiltak) kontroll = vanlig tjenesteyting Systematisk veiledning og koordinering Internett (omfattende sider) Veiledning og trening på samlingene Veiledning lokalt

Dokumentasjon av behandlingseffekt Hver studentgruppe: Velger ut to grupper (ca. 6 elever i hver) som matcher hverandre mht atferdsproblemer (noen med få, andre med flere) Randomisering til ART vs. kontroll på gruppenivå Mål på effekt: PRETEST: Testbatteri administreres før intervensjon TEST: Testbatteri administreres etter intervensjon

Dokumentasjon av behandlingseffekt Testbatteri: SSRS (Social Skills Rating System; Gresham & Elliott, 1990) CADBI (Child and Adolescent Disruptive Behavior Inventory, Burns & Taylor) HIT (How I Think) CBCL (Child Behavior Check List)

Dokumentasjon av behandlingseffekt ALTSÅ: ART: PRETEST ART TEST Kontroll: PRETEST - TEST Manipulasjon Forskjell Ingen forskjell

Dokumentasjon av behandlingseffekt Hvordan måle effekt? Pre-test vs. test innen hver gruppe (1) ART vs. kontroll etter behandling (2) Pre-test ART Test Pre-test - Test 1 1 2

Dokumentasjon av behandlingseffekt Hvordan måle effekt? Statistisk test? Gruppeforskjell (ART vs. kontroll) Endring innen gruppen (ART før vs. etter intervensjon) Flere enkeltmål i testbatteriet

Dokumentasjon av behandlingseffekt Design? Uavhengige grupper (ART vs. kontroll) Pre-test vs. test for begge gruppene Pre-test og test består av flere enkelttester

Dokumentasjon av behandlingseffekt Randomisering Randomisert fordeling til betingelsene KRITISK! Randomisert utvalg fra populasjonen ? Randomisering på gruppenivå vs. på individnivå Spesielle problemer!

Dokumentasjon av behandlingseffekt Trusler mot den indre validiteten Historie Modning Testing Svikt i måleinstrumentene Statistisk regresjon Gruppene var forskjellige i utgangspunktet Utvanning mellom betingelsene

Dokumentasjon av behandlingseffekt Statistisk konklusjonsvaliditet Er undersøkelsen lagt opp slik at vi kan trekke en gyldig statistisk konklusjon fra våre data? Mulige problemer: Lav statistisk power Antall deltakere: Er 30 ART, 30 kontroll, tilstrekkelig? Brudd på statistiske forutsetninger “Fisking” i data Lite reliable mål Forskjeller i hvordan manipulasjonen gjennomføres Stor variasjon mellom deltakerne

Dokumentasjon av behandlingseffekt Ytre validitet (populasjonsvaliditet) Kan vi trekke slutning fra vår undersøkelse (med 60 ungdommer) til andre norske ungdommer? Utvalget er ikke et tilfeldig utvalg fra populasjonen, men hentet fra studentenes arbeidsplasser Generelt: Klienter som deltar i klinisk forskning er sjelden utvalgt tilfeldig fra populasjonen

Dokumentasjon av behandlingseffekt Ytre validitet (økologisk validitet) Kan vi generalisere fra vår undersøkelse (gjennomført under kontrollerte betingelser med rollespill, øvelser, diskusjon) til den “virkelige verden?

Dokumentasjon av behandlingseffekt Testbatteriet (avhengige mål) Validitet og reliabilitet forutsettes Dokumentert i tidligere undersøkelser Tester med ulikt fokus Atferd Kognisjon Tester fokuserer på problem vs. mulighet Problematferd (CADBI) Sosial kompetanse (SSRS) Tester med ulike skalaer Hvordan kan de sammenlignes? Hver test har flere subskalaer Konsistens i hver subskala?

Dokumentasjon av behandlingseffekt Hvordan sammenligne resultatene på to forskjellige tester med forskjellige målestokker? Eksempel: Test A: Skårer 1-6 (6 = ”best”) Test B: Skårer 0-80 (80 = ”best”) Løsning 1: Regne om skalaene Løsning 2: Regne om til standardskårer

Dokumentasjon av behandlingseffekt Hvordan sjekke konsistens i hver subskala i en test? Dokumentert konsistens i subskalaer er en del av dokumentasjonsgrunnlaget for testen Konsistens i skårer kan testes ved Cronbachs Alpha Mål 1 Mål 2 Mål 3 Mål 4 = “Aggresjon” Konsistens i disse målene kan tallfestes (0 = ingen konsistens; 1 = max konsistens) Rimelig grad av konsistens (.60 - .80) bør foreligge

Dokumentasjon av behandlingseffekt Pre-test Uavhengig variabel Test Eksperi-ment-gruppe Test 1 Test 2 Test 3 Test 4 ART – 24 timer Kontroll- gruppe Venteliste R

Dokumentasjon av behandlingseffekt Signifikanstesting: Nullhypotesen: ”Utvalgene kommer fra samme populasjon”. Vi sjekker: Hvor sannsynlig er det at den observerte forskjellen mellom utvalgene kan oppstå, gitt at utvalgene kommer fra samme populasjon? Forskningshypotesen: ”Utvalgene kommer ikke fra samme populasjon”.

Dokumentasjon av behandlingseffekt Hvis den observerte forskjellen er svært usannsynlig, gitt at utvalgene stammer fra samme populasjon, forkaster vi 0-hypotesen Grense: 5 av 100 tilfeller (0,05) Avvisning av 0-hypotesen innebærer en indirekte aksept av forskningshypotesen Forskningshypotesen ”bevises” IKKE

Dokumentasjon av behandlingseffekt Hvordan måle effekt II? Pre-test vs. test innen hver gruppe (1) ART vs. kontroll etter behandling (2) Pre-test ART Test Pre-test - Test

Dokumentasjon av behandlingseffekt To hovedmål: Sosiale ferdigheter Problematferd Hovedprediksjon: ART-gruppen: + sosiale ferdigheter; - problematferd Kontrollgruppen: Ingen signifikant endring Design: Mellomgruppe: ART vs. kontroll Innengruppe: Pre-test vs. test

Som predikert Som predikert ! PRE-TEST TEST PRE-TEST TEST

Dokumentasjon av behandlingseffekt ANOVA Separate analyser for hvert avhengige mål hvis disse skal gå i forskjellige retninger sosiale ferdigheter vs. sosiale problemer Hovedeffekter Gruppe (ART vs. kontroll) Test (Pre-test vs. test) Interaksjonseffekt Utvikler gruppene seg forskjellig?

Interaksjon: Spriker kurvene? Hovedeffekt? Interaksjon: Spriker kurvene?

Dokumentasjon av behandlingseffekt Statistikk: http://www.sv.uit.no/seksjon/psyk/statintro.html