ART- Et program for trening av sosial kompetanse Førstelektor Knut Gundersen Diakonhjemmet Høgskole Rogaland

ART - Multimodalt program bestående av 3 komponenter Spesifikk trening Sosiale ferdigheter (atferd) Spesifikk trening Sinnekontroll (emosjoner) JuniorARTfilm som link Spesifikk trening Moralsk resonnering (kognisjon)

Mål Styrke sosial kompetanse Erstatte aggressiv atferd med sosialt akseptabel atferd

Trening i sosial kompetanse Utgangspunkt i en ”ferdighets mangelmodell” Sosial situasjoner takles dårlig grunnet begrensninger i eller mangel på spesifikke ferdigheter (Bierman & Welsh, 1997) Negativ korrelasjon mellom mål på sosial kompetanse og ensomhet (Jones, Hobbs, & Hockenbury, 1982), depresjon (Tse & Bond, 2004; Segrin, 1990), hjerte- og karlidelser (Ewart, Taylor, Kraemer, & Agras, 1991), rusproblematikk (Gaffney, Thorpe, Young, Collett, & Occhipinti, 1998), ungdomsforbrytelser (Renwick & Emler, 1991) og atferdsproblemer (Najaka, Gottfredson, & Wilson, 2001; Webster-Stratton & Hammond, 1998; DeRosier, 2004). Det er også påvist sammenheng mellom barns evne til å etablere vennskap og grad av psykiske vansker gjennom hele livet (Hay, Payne, & Chadwick, 2004) Ved å øke sosial kompetanse minskes stress / atferdsvansker Også sterk samvariasjon mellom sosial kompetanse og skoleprestrasjoner.

Sosial informasjons-bearbeidings modell (Crick and Dodge, 1994) En sosial samhandling kan forstås gjennom følgende 6 trinn: Utvelgelse av sosiale signaler, Tolking av sosiale signaler, Klargjøring av mål, Etablering av handlingsalternativer Valg av respons 6) Gjennomføre respons. Blant annet så har barn og unge med atferdsvansker av ulike grunner problemer med en eller flere av disse trinnene (Foster & Crain, 2002) og hensikten med kompetansefremmende tiltak blir således å øke deres kapasitet på disse områdene.

1. Utvelgelse av sosiale signaler, Observerer og velger de mest relevante Er influert av; Erfaring om aggresjon Barn med atferdsvansker velger ut flere ”fiendelige signaler” basert på tidligere erfaringer Observasjon av egne og andres følelser Barn med atferdsvansker har mindre evne til å oppfatte egne og andres følelsesuttrykk Særlig ”reaktive” velger ut signaler mindre presist Ser egen handling som mindre aggressiv og andres som mer aggressiv Humør / tretthet påvirker de signalene en velger Empatisk forståelse Hvordan ser en handlingen ut fra den andres synspunkt Hvilke moralske problemstillinger ser barnet Avhengig av verdier og moralsk utviklingsnivå 1. Utvelgelse av sosiale signaler,

Tolking av sosiale signaler, Barn reagerer ikke bare på handlingen, men på tolking av handling Forståelse av årsak og hensikt Tolker andres hensikt som mer fiendelig / legger skylden for handling på andre Overreagerer derfor gjerne følelsesmessig (reaktive) som påvirker videre bearbeiding Er handlingen moralsk og på hvilken måte? En som ”sniker i køen”. Regelbryter – ikke fair – spesielt tørst – markerer styrke? Tolking av sosiale signaler,

Klargjøring av mål, Interne mål Eksterne mål Unngå flauhet Fortsatt være glad Eksterne mål Vinne konkurranse / hevde seg Bevare vennskap Påvirkes av bl.a. skyldfordeling (når andre har skyld kan målene innebære mer aggresivitet) Proaktivt aggressive barn velger ofte aggressive mål (som skyldes på andre) Klargjøring av mål,

Etablering av handlingsalternativer Barn og unge med atferdsvansker har generelt færre handlingsalternativer Velger gamle velkjente Frys – angrip - flukt

Valg av respons Avhenger av Om de synes responsen er fair Fair for dem selv eller også for andre / større grupper / verdier selvtillit (self-efficasy) Prososiale barn mer tilfreds når det handler prososialt Aggressive mer tilfreds når de handler aggressivt Hvilket utbytte handlingen gir Beholde posisjon Beholde vennskap

Forutsetninger for at program skal ha effekt Tiltak å være rettet mot den enkeltes problemområder - risikofaktorer Tiltak må være basert på virksom teori og tilpasset målgruppa Metoden må ha dokumentert effekt Metoden må være korrekt implementert

Tiltak må være rettet mot sentrale risikofaktorer Vanligste risikofaktorene: Kriminogene behov: Antisosiale holdninger og verdier Endre tankemønster Venner med atfersvansker Redusere kontakt med andre med atferdsvansker Positive modeller Temperament Øke selvkontroll, Evnemessige forutsetninger Selvstendighet og problemløsing Manglende sosiale ferdigheter Erstatt uønsket atferd med prososiale ferdigheter Familiefaktorer Endre familiemønstre Reduser rusbruk Tiltak som ikke er rettet mot risikofaktorer hos den enkelte vil ikke gi effekt. Jo flere risikofaktorer desto mer omfattende tiltak. (Se Andrews 1990)

2. Tiltak må være basert på virksom teori og tilpasset målgruppa De mest effektive metoder er basert på kognitive behavioristiske teorier og sosial læringsteori Er blant annet basert på praktiske innlæringsmetoder der man innøver alternative samhandlingsmønstre Finne balanse mellom behandlingsintegritet og tilpasning av programmet til spesifikke karakteristika hos den enkelte motivasjonsproblemer, kognitivt nivå, angst etc.

Hva virker mot atferdsvansker? (generelt) Sosial læringsteori (modell – rollespill) Atferdsanalyse (lære prososial atfred) Kognitive metoder (endre tankemønstre) Opplæringsprogrammer (selvstendighet) Strukturerte systemiske familiebaserte programmer

3. Metoden må ha dokumentert effekt Forskning nasjonalt og internasjonalt viser god effekt på ART metoden (se bl.a. Barnoski & Aos, 2004 og Gundersen & Svartdal, 2006)

4. Metoden må være korrekt implementert Kunnskaper og ferdigheter hos trenere Programansvarlig Egen programmanual Støtte / vilje i organisasjonen Generaliseringsplaner Veiledning, Evaluering Tilpasning til aktuell målgruppe

Internasjonal organisasjon ivaretar kvalitetssikring ART opprinnelig Utviklet av Arnold P Goldstein, Barry Glick og John Gibbs ved Syracuse University i New York Start 1978 - gjennomgående gode resultater Non-profit Materiell distribueres i bøker og gjennom kurs Internasjonal organisasjon ivaretar kvalitetssikring 3 norske medlemmer (Børge Strømgren, luke moynahen, Knut Gundersen) www.aggressionreplacementtraining.org/ I Europa ART utbredt særlig i Sverige, Nederland, Polen, Island Storbritannia, og i Norge. Også en del i Tyrkia, Kroatia, Lithauen og Russland

Bakgrunn Goldsteinseminar Gardemoen 1999 Opprettelse av 60 studiepoeng videreutdanning i ”trening av sosial kompetanse” - igangsatt 2002

ART-senteret Ann Karin Sigmundstad Knut Gundersen Johannes Finne Eskild Domben Frode Svartdal Tutte Mitchell Olsen Johannes Langeveldt

Samarbeide med tidligere studenter om kvalitetssikring og ART-treneropplæring ART i barnehage Psykisk utviklingh. /Autismespektrum Rusmisbruk Barnevernsinstitusjon Fengsel HelsekoleART ART i skole

60 studiepoengs videreutdanning i “Trening i sosial kompetanse” ART-instruktører Deltids studie over 2 år: 8 ukes samlinger ART sentral metode ART-trenings praksis med forskning Andre metoder Bl.a. Motiverende intervju, FamilieART, MST, PMT

8 dagers ART-trener kurs 4 dager sosial ferdighetstrening og sinnekontrolltrening 3 dager repetisjon og moralsk resonnering 1 dag med praktisk prøve ART-eksamen 15 studiepoeng

Også prosjketer utenom Norge Russland Lithauen Island Danmark

Veiledning I..: - Implementering -Generalisering - Metodeutvikling - Teorigrunnlag

FamilieART Bygd på den Canadiske modellen til Calame & Parker 2 dagers påbygningskurs for ART-trenere Gratis veiledning til familieART grupper som er med på forskning

Trening i situasjonsforståelse Knut Gundersen kull 4 2008

6 dagers kurs JuniorARTtrener

Evalueringsundersøkelser i Norge Running head: DIFFUSION OF TREATMENT INTERVENTIONS Diffusion of treatment interventions: Exploration of “secondary” treatment diffusion Knut Gundersen * and Frode Svartdal * ** Diakonhjemmet College Rogaland * / University of Tromsø **

Anbefalt og en del av MultifunC - modellen (Andreassen - 03) Forskergruppe oppnevnt av utdanningsdirektoratet og helse - og sosialdirektoratet (Nordahl -06) Programmet vurderes å tilhøre kategori 3: Program med dokumenterte resultater. ”Forskergruppen anbefaler ART til bruk på skolens ungdomstrinn i forhold til grupper som har utviklet eller står i fare for å utvikle problematferd. Brukt i primærforebyggende sammenheng bør programmet suppleres med skoleomfattende tiltak.” UNGSINN (2009) Det foreligger detaljerte beskrivelser av ART og tiltaket har en solid teoretisk forankring. Tiltaket er evaluert med positive resultater i flere land i tillegg til i Norge. Programmet klassifiseres som et funksjonelt virksomt tiltak på evidensnivå 3 med dokumentasjonsgrad 1 (*).

Hvor trenes ART i Norge? Barnehager Barnevernsinstitusjoner Skoler Rusinstitusjoner Fengsel Asperger / Autisme Psykiatri Psykisk utviklingshemming

ART grupper i alle landsdeler i over 50 kommuner ART grupper i alle landsdeler i over 50 kommuner. Over 2000 trenere i Norge Fra full implementering i alle trinn til enkeltgrupper

Definisjon sosial kompetanse En person fremviser sosial kompetanse når (i) han/hun i gitte sosiale situasjoner, med stor sannsynlighet, oppnår egne mål på måter som også ivaretar samhandlingspartnernes grunnleggende rettigheter, (ii) tilfredsstiller eksplisitte kulturbestemte- regler og implisitte normer for oppførsel som (iii) fører til positivt omdømme fra andre. (Gundersen & moynahan 2003)

Vanligvis 2 trenere for mellom 4-8 elever Klar oppgavefor-deling mellom trenerne

Fast struktur på hver time Velkomst Evt. presentere gjester – minne om regler Hva har skjedd siden sist Tilbakeblikk Hjemmeoppgaver Dagens ferdighet Lek Hva gjorde jeg bra – hva kunne jeg gjort annerledes Evt ”vennskapsrunde” Avslutning 1.Definer ferdigheten 2. Modeller ferdigheten 3. Når ferdigheten anvendes 4. Velg hovedaktør 5. Planlegg rollespillet 6. Gjennomfør rollespillet 7. Feedback 8. Ny aktør 9. Hjemmelekse

Stressmestringsferdigheter Ferdighet 42 Forholde seg til gruppepress. Forslag til rollespill:  Skole/arbeidsplass: Hovedpersonen må takle gruppepress som går på å gjøre hærverk i nabolaget. Hjemme: Hovedpersonen står overfor press fra broren som vil stikke av. Sammen med venner: Hovedpersonen står ovenfor press for å slåss. Tilbake Trinn for trinn: Tenk på hva gruppen vil at du skal gjøre, og hvorfor. Tenk på hva du ønsker å gjøre. Bestem deg for hvordan du skal si det til gruppa. Gjennomfør valget ditt.

Trening: Sosiale ferdigheter Over 50 spesifikke ferdigheter kan trenes Kartlegging av aktuelle ferdigheter

Sinnekontrolltrening

Definisjon aggresjon Enhver atferd rettet mot et annet individ som blir utført med den umiddelbare hensikt å skade vedkommende. I tillegg må utøveren av aggresjonen tro at atferden vil forårsake skade, og at den andre personen ønsker å unngå skaden. (Knut Gundersens oversettelse) Anderson & Bushman (2002)

Reaktiv og proaktiv aggresjon Reaktiv aggresjon. Aggresjon som reaksjon på provokasjon. Per slår Lars fordi han har tatt leken Proaktiv aggresjon. Hensikten er å oppnå et mål Per slår Ola for å få tak i en leke.

Sinne og aggresjon Kan godt være sint uten å være aggressiv og aggressiv uten å være sint. Sammenheng mellom vold og kriminelle handlinger og høy sinneaktivering (Zamble & QuinseY (1997) Sinneaktivering er større hos voldelige innsatte enn ikke voldelige (Hunter 1993). Likevel: Sinne ikke hovedgrunnen til aggresjon; men spiller inn på flere måter

Forholdet mellom sinne og aggresjon Reduserer aggresjonshemmere (egen moralsk standard / selvoppfatning) ”jeg slår ikke personer som er mindre” Sinne øker oppmerksomheten mot provoserende hendelser. Sint i en situasjon negativ forventning også i neste situasjon. Sinne er en informasjonskilde for reaksjon (f eks gjengjelde) ”Når jeg er sint har jeg grunn til å slå” Sinnet fyrer opp under aggresjon

Faktorer som forbindes med aggresjon Personfaktorer Høy selvtillit (oppblåst / ustabilt) – lett aggresjon når posisjon truet. Kjønn spiller rolle for måten aggresjon utøves (kvinner indirekte – menn direkte. Koder for respekt (skal forsvare seg – cowboy / blodhevn / gjenger

Faktorer som forbindes med aggresjon Situasjonsvariabler Provokasjoner (fornærmelser, krenkelser; trussel mot selvverd. Frustrasjoner (definert som blokkering av mål) Selv rettferdige blokkeringer og mot personer som ikke er ansvarlige for frustrasjonen Aggressive ”cues” Tilstedeværelse av våpen (i motsetning til badminton racket), voldelige filmer / videospill Smerte, menstruasjon varm temperatur, høy musikk dårlig lukt. Også akutt smerte (dyppe hånd i is) kan framprovosere aggresjon Rus og koffein De 2 siste punktene virker indirekte (setting events) fordi de forsterker effekten av provokasjon / frustrasjon / cues

Trening: Sinnekontroll Sinnekontroll skal lære elevene å kjenne seg selv mht de ulike elementene i sinnesyklusen, og deretter kunne VELGE å bruke alternativer til aggresjon. De skal kunne VELGE å bruke selvkontroll BLINKANDE LYKTOR Sinnesyklusen Ytre utløsere Indre utløsere Signaler (Fysisk) Dempere 1. Telle baklengs 2. Positive Bilder 3. Deep breathing 4. Positivt Selv-snakk (Måter å roe deg ned på) Kortsiktig Konsekvenser (Hva om) Pro- Sosiale Ferdigheter Lang- siktig UANTE

10 ukers grunnleggende program Time 1 Innledning Time 2 Ytre og indre triggere Time 3 Signaler Time 4 Dempere Time 5 Mine egne dempere Time 6 Konsekvenser Time 7 Hvordan havner jeg i konflikt situasjoner? Time 8 Valg av sosiale ferdigheter - andre løsninger enn aggresjon Time 9 Valg av sosiale ferdigheter - andre løsninger enn aggresjon Time 10 Valg av sosiale ferdigheter - andre løsninger enn aggresjon 10 ukers grunnleggende program

Trening Moralsk resonnering Tankekomponenten i ART Dilemmadiskusjoner der deltakerne blir presentert for et moralsk dilemma som drøftes Skal jeg ta hensyn til meg selv, kameraten, andre? Bygger på moraske stadier som reflekterer gradvis større grad av empati.

Kohlberg / Gibbs stadier for moralsk resonnering Stadium 1: ”Den sterke har rett” Stadium 3: ”Gjensidighet Stadium 4: ”System – viser du sosialt ansvar?”

4 kategorier for kognitive forstyrrelser (tankefeil) Selvsentrert (primær kognitiv tankefeil) Skylde på andre Bagatellisert Forutsette det verste

Strukturen i trening av moralsk resonnering YTRE STRUKTUR Velkomst Hilse (med tilstandssjekk), Evt. minne om regler, Evt. presentere gjester, ART - rop eller liknende. Tilbakeblikk fra forrige trening i samme komponent. Gjennomgang av hjemmeoppgave fra forrige time i samme komponent. YTRE STRUKTUR fortsetter ART-lek (her eller tidligere i timen). Tilbakeblikk fra denne time). Avslutning: Evalueringsrunde evt. ”vennskapsrunde”, Orientering om neste time, Anerkjennelse / diplomer, ART - rop INDRE STRUKTUR Presenter situasjonen Bygg moden moraloppfatning Utfordre umodne begrunnelser Nye spørsmål – gjenta pkt. 2- 3. Befeste en moden moraloppfatning Hjemmeoppgave

14 egenskaper ( Sara Salmon) MOT Å ta positive og sunne sjanser til det beste for deg selv og andre. OMSORG Vise at du bryr deg om andre gjennom ord og handlinger. INTEGRITET Gjøre det som er riktig, rettferdig og hederlig. ÆRLIGHET Vilje til å stå åpent frem med sannheten. SELVTILLIT Ha og vise en positiv tro på deg selv. HJELPSOMHET Å sette av tid og krefter til å hjelpe andre.

MÅLRETTET ANSVARSBEVISSTHET SAMARBEID HUMANISME SELVKONTROLL Identifiser ønsket resultat og planlegg en serie med handlinger for å oppnå disse. ANSVARSBEVISSTHET Vilje til å stå for dine egne handlinger uten å skylde på andre. SAMARBEID Være i stand til å arbeide sammen med andre for å fullføre en oppgave eller spille et spill. HUMANISME Tro på at mennesker med ulik kultur, evner, religion, kjønn og rase er likeverdige og verdifulle medlemmer av samfunnet vårt. SELVKONTROLL Kontrollere handlingene dine på en positiv måte. TÅLMODIGHET Være villig til å vente og holde ut uten å klage. UTHOLDENHET Holde deg til oppgaven; Ikke gi opp. RESPEKT Vise hensyn til deg selv, andre, eiendeler og de som bestemmer.

Prinsippene for innlæring er bl. a Prinsippene for innlæring er bl.a. basert på atferdsanalytiske prinsipper som for eksempel Sd O Sr Foranledning Atferd Konsekvens All atferd er lært; man gjør det som tidligere har ledet til forsterkning (”belønning”) Etablerte atferdsmønstre kan avlæres eller endres ”Kjeding” Splitter opp ferdighetene i systematiske trinn og øver inn hvert trinn for seg ”Promptfading” Man gir den hjelp som er nødvendig for at atferden skal lykkes og trapper gradvis ned hjelpen ”Shaping” Man forsterker opp vellykkede forsøk på atferd som likner mer og mer på målatferd

…og Sosial læringsteori (Bandura -77) Stedfortredende forsterkning Direkte forsterkning Selvforsterkning Fortell meg og jeg glemmer! Vis meg og jeg husker! La meg gjøre det og jeg lærer

Tre viktige faktorer for suksess. Implementering / kvalitetssikring Motivasjon Gjør programmet morsomt og interessant Ungdommen bør være aktive 75% av tiden Gi den forsterkning som er nødvendig for å skape motivasjon (tegnøkonomi?) Følelse av kontroll ofte mer viktig enn forsterkning Strategier for generalisering Informasjon og støtte fra nettverket Individuelle generaliseringsplaner

ART posten ART uke 8 Denne uken jobber vi videre, men tar med oss og repeterer en del fra tidligere timer. I sinnekontroll har vi jobbet oss nesten rundt hele sirkelen og skal begynne å finne gode løsninger i vanskelige situasjoner som oppstår. ARTig hilsen fra TIRSDAG Sosiale ferdigheter TORSDAG Moralsk resonnering FREDAG Sinnekontroll ”Å be om lov” er ferdigheten vi skal trene på denne uken. Måten en ber om lov på er ofte forskjellig og mange vanskeligheter oppstår ofte fordi måten en ber om lov kanskje ikke er det beste? Også hva en ber om lov til og hvordan en håndterer å få et negativt svar på det en spør om er kimen til mange konflikter. Hjemmeoppgave: avtales med hver enkelt i timen ”Målrettethet” Identifisere ønskede resultat og planlegge en serie med handliner for å oppnå disse. Dette er en egenskap de fleste mennesker synes er vanskelig. Vi skal hjelpe hverandre med å finne ut hvordan vi alle sammen kan bli mer målrettet! Hvordan havner jeg i konfliktsituasjoner? Hva gjør jeg som kan gjøre andre sint? Hva kan jeg gjøre for å unngå det? Hjemmeoppgave: Sinnelogg og oppgave som avtales med hver enkelt i timen Denne uka jobber vi med! Når er lunta kortest?

Forutsetninger for at et program skal ha effekt Programmet må være validert Washington State’s Evaluation of Evidence- Based Juvenile Justice Programs (Barnoski, Aos, 2004): ART delivered competently Reduces 18-month felony recidivism by 24 percent. Benefit to cost ratio of $11.66. (Regardless of competence: $6.71 savings) (501 I ART-gruppa. 417 I kontrollgruppa)

CADBI CBCL ART Com- parison Pre Post F Parent 156.5 130.2 18.03* 18.4 Behaviour Problems. Means and within-groups differences (pretest vs. test) for the ART and comparison groups for the CADBI and CBCL instruments. * = p < .01 CADBI CBCL ART Pre Post F Parent 156.5 130.2 18.03* 18.4 13.8 27.59* Teach 143.9 124.0 8.11* Teach. 17.0 12.1 13.49* Youth* 72.0 51.6 5.97* Youth 17.6 14.2 14.81* Com- parison 98.9 93.3 0.36 10.4 9.6 .29 134.0 117.7 2.13 13.2 11.8 .39 50.0 .02 14.1 5.45*

SSRS HIT ART Com- parison Social skills. Means and within-groups differences (pretest vs. test) for the ART and comparison groups for the SSRS and HIT instruments. * = p < .01 SSRS HIT ART Pre Post F Parent 25.2 26,4 10.64* Teach 22.4 24,1 11.60* Teach. Youth 101.4 106.3 2.19 3.30 2.67 9.58* Com- parison 27.1 26,7 .42 23,4 1.73 103,4 109.9 1.58 2.93 2.49 7.35*

ART Project Rogaland 2005 Knut Gundersen* & Frode Svartdal ** * Diakonhjemmet Univerity College Rogaland ** University of Tromsø

Purpose Investigate the efficacy of ART interventions carried out by students as part of their education

Participants I Student ART trainers Ca. 30 students participated as ART trainers Divided into 18 groups depending on geographic location etc. Each group planned and implemented the ART intervention (30 h standard ART) Each group collected data on social competence and problem behavior before and after interventions (PRE vs. POST)

Participants II 145 Youths at schools and institutions participated 89 boys and 56 girls 12 projects in school (56 ART 47 control) 1 project in kindergarten (6 ART 6 control) 1 projects in special school (6 ART 4 control 3 projects in residential settings (9 ART 6 control) 1 project failed (special school)

Hvor mange fullførte? Har noen tall, men må sjekkes opp mot opprydningen. Kontakt med kontrollgruppen. 14 prosjekter med kontrollgruppe. 12 hadde mye kontakt (daglig), samme klasse / institusjon / klassetrinn. 1 hadde en del kontakt mens en (Elin) hadde lite kontakt. Fravær:

Instruments Behavior problems: CADBI Social skills: SSRS Child and Adolescent Disruptive Behavior Inventory, Burns & Taylor Social skills: SSRS Social Skills Rating System, Gresham & Elliott

Design Matched groups at each location Random assignment to ART or control Measurement (SSRS, CADBI) PRE and POST Statistical comparisons Between groups (ART vs. control) Within groups (PRE vs. POST)

Data Data presented here are from the whole sample, ca. 140 77 ART youths Ca. 63 control youths

Results: SSRS, Parents Green cells = Significant PRE vs. POST differences Results: SSRS, Parents

Results: SSRS, Teachers

Results: CADBI, Parents

Results: CADBI, Teachers

Results: Summary ART Control Conclusion Significant changes in the predicted direction in 13 of 19 measures Control Significant changes in the same direction as in the ART groups: 2 of 19 measures Tendency to positive changes on other measures Conclusion Rather convincing evidence of the efficacy of ART in reducing behavior problems and increasing social skills

Results: Further analysis Why ”effects” of intervention in the control groups Three explanations Test-retest effects (positive changes are due to test and retest – SSRS, CADBI) Diffusion of treatment (ART interventions directed at the ART groups also affect control subjects) Model effects (behavioral changes in models in the ART groups affect subjects in the control groups)

Results: Further analysis Diffusion of treatment and model effects are probably most likely explanations If true, effects (especially the model effect) in the control croups should be most pronounced in projects with pronounced effects in the ART groups Hypothesis: Control group “effects” should correlate positively with ART group effects

Results: Further analysis Correlation between effect index scores in the ART and control groups = .58