Hva kan vi oppnå med flere effektstudier? Arne Lervåg og Monica-Melby-Lervåg.

Presentasjon om: "Hva kan vi oppnå med flere effektstudier? Arne Lervåg og Monica-Melby-Lervåg."— Utskrift av presentasjonen:

1 Hva kan vi oppnå med flere effektstudier? Arne Lervåg og Monica-Melby-Lervåg

2 Hva er en effektstudie?

3 Hvordan kan vi best lære barn å lese? Hvordan utvikle gode matematikkferdigheter hos barn? Hvordan kan vi oppdage lesevansker tidlig? Hvilke tiltak hjelper barn med atferdsvansker? Hvordan forhindre at ungdom med lærevansker dropper ut av videregående skole? Hva kan vi gjøre for å forebygge frafall? Hvordan kan man best stimulere barns språk i barnehage? Hvilke datahjelpemidler er mest effektivt for å barn med avkodingsvansker til å få en god flyt i lesingen sin? Hvilke tiltak hjelper best for barn med lærevansker til å lære og lese?

4 Årsak-virkning

5 Hvordan kan vi forskere lage en undersøkelse som med best mulig sikkerhet kan besvare spørsmål om effekt eller årsak-virkning?

6

7

8

9 Evidensbasert praksis

10 Rangeringen bare gyldig hvis forskningsspørsmålet angår årsak- virkning i tilfeller hvor det er mulig å studere effekten av et tiltak Levels of evidence for practical decisions for decisions about interventions

11 Rangeringen er altså ikke: En generell rangering av kunnskap En nedvurdering av kvalitative metoder En vurdering av hva slags forskning som bør prioriteres Hva er den beste studien å gjøre i forhold til et gitt spørsmål?

12 Egner effektstudier seg for utdanningssektoren?

13 1. Randomiserte kontrollerte studier er mest brukt for medisin og passer kanskje best der? Randomiserte kontrollerte studier er egnet hvis man for eksempel undersøker effekten av en ny type medisin, men at innenfor utdanningsvitenskap er det for komplekse årsakssammenhenger til at slike studier kan brukes (Ekeli, 2002; Hammersley, 2005).

14 Det er nettopp alternative forklaringer man forsøker å utelukke ved å bruke en randomisert kontrollert studie. Når man bruker loddtrekning for å fordele barna i tiltak og kontrollgruppe, er det helt tilfeldig hvem som blir plassert i de ulike gruppene. Alle forskjeller mellom gruppene være tilfeldige og alternative forklaringer vil dermed være lite sannsynlige.

15 2. Er randomiserte kontrollerte studier generaliserbare? Er resultatene fra slike studier lite overførbare fordi studien gjennomført i en setting som er spesiell for akkurat denne studien?

16 Dette kan helt klart være et problem, men alle studier, ikke bare randomiserte kontrollerte studier, vil ha særtrekk som kan får utslag og påvirke resultatet (se Shadish, Cook & Campbell, 2003). Replikasjon avgjørende, særlig for tilgrensende populasjoner eller situasjoner. I tillegg er det selvsagt viktig at det utvalget man bruker i undersøkelsen best mulig samsvarer den gruppen og settingen man ønsker å generalisere til. For eksempel bør randomiserte kontrollerte studier av tiltak som skal prøves i skolen selvsagt gjennomføres på en skole av lærere, og ikke for eksempel ved at forskere gjennomfører tiltaket ved at barn er i en «laboratoriesetting».

17 3. Alle elever er ulike og derfor kan vel ikke evidensbasert praksis hjelpe oss? Mange av kritikerne mot evidensbasert praksis har hevdet at alle barn er ulike, og at det derfor er vanskelig å benytte et fastlagt forskningsbasert opplegg som tiltak.

18 Respons Pennington (2009) påpekt at selv om alle barn er ulike, er det imidlertid noen karakteristikker som er typiske for alle barn, noen for grupper av barn og noen trekk er helt individuelle. Selv om alle barn er ulike er altså tankegangen at grupper av barn har så mye felles at evidensbasert intervensjon er svært nyttig og effektfullt. I tillegg kan heterogeniteten mellom barna adresseres i stor nok utvalg Eventuelt, kan en replikere intervensjonen på andre grupper

19 4. Neglisjerer ikke evidensbasert praksis og randomiserte kontrollerte studier praktisk erfaring og fører til instrumentalistisk kokebokpedagogikk? En innvending mot evidensbasert praksis har vært at det neglisjerer praktisk erfaring (Tuntland, 2009). Det er viktig å merke seg at evidensbasert praksis, dersom det er velfungerende, innebærer en vekselvirkning mellom forskning og praksis. Forskningsspørsmålene kan være generert direkte fra skoler eller lærere, og undersøkes deretter av forskeres.

20 «The virtuos circle» Research Practice Snowling & Hulme, 2012 a recurring cycle of events, the result of each one being to increase the beneficial effect of the next

21 5. Vil ikke randomiserte kontrollerte studier være uetiske? Etisk problematisk å ha en kontrollgruppe som ikke får et tiltak. Det vi i flere tilfeller kan gjøre er å ha en såkalt venteliste kontrollgruppe. Det innebærer at kontrollgruppen ikke får tiltaket samtidig som tiltaksgruppen, men at de starter med tiltaket når tiltaksgruppen er ferdig. Det kan også sees som uetisk å ikke undersøke om et spesialpedagogisk program har effekt.

22 Eksempel på en randomisert kontrollert studie i en norsk barnehage/skole setting Tiltak for barn med svake språkferdigheter

23

24 4 år 5 år6 år 7 år Utvikling av ordforråd fra 4-7 år

25 Språkforståelse Alle har en bratt læringskurve, ordforrådet er i sterk økning hele førskolealderen Men: Rangordningen mellom barna er nærmest lik, det vil si at de som strever i 4 årsalder gjør det også i skolealder

26 Utvikling av ordforråd fra 7,5-11,5 år 7,5 år8 år 8,5 år 9 år 11,5 år

27 Språkforståelse Også her ser vi tydelige læringskurver, ordforrådet er i økning igjennom hele barneskolen Rangordningen mellom barna er også her relativt stabil: de som strever i 2. klasse gjør det også i 6. klasse. Men! Her ser vi at de som hadde god språkforståelse i 2. klasse hadde sterkere vekst enn de som hadde dårlig språkforståelse i 6. klasse: en såkalt Matteuseffekt.

28 Forskningsspørsmål: Kan vi lage et effektivt tiltak som bedrer språkferdighetene til barna med de svakeste språkferdighetene i 4 årsalderen? Vil et slikt tiltak ha langtidseffekter på språk og leseutviklingen i skolen?

29 Oppbygning av studie - RCT Screening av ca. 1500 barn på 4 år

30 Oppbygning av studie - RCT Screening av ca. 1500 barn på 4 år Velger de 30-25% som gjør det svakest på screeningtestene

31 Oppbygning av studie - RCT Screening av ca. 1500 barn på 4 år Kontrollgruppe Tiltaksgruppe Velger de 30-25% som gjør det svakest på screeningtestene og randomiserer på:

32 Oppbygning av studie - RCT Screening av ca. 1500 barn på 4 år Kontrollgruppe Tiltaksgruppe Vanlig barnehagepraksis Tiltaksprogram Pretest Velger de 30-25% som gjør det svakest på screeningtestene og randomiserer på:

33 Oppbygning av studie - RCT Screening av ca. 1500 barn på 4 år Kontrollgruppe Tiltaksgruppe Vanlig barnehagepraksis Tiltaksprogram Pretest Posttest ved slutten av barnehagen Velger de 30-25% som gjør det svakest på screeningtestene og randomiserer på:

34 Oppbygning av studie - RCT Screening av ca. 1500 barn på 4 år Kontrollgruppe Tiltaksgruppe Vanlig barnehagepraksis Tiltaksprogram Pretest Posttest ved slutten av barnehagen Velger de 30-25% som gjør det svakest på screeningtestene og randomiserer på: Testing i skolen Registerdata i 5., 8., og 10. klasse pluss frafallsdata i videregående

35 men, utfordringer… ….

36 -Svært få studier innenfor utdanning er egnet til å si om et tiltak virker. Svært få studier som i det hele tatt undersøker tiltak systematisk -Meta-analyser/kunnskapsoppsummeringer innenfor utdanning som ser på effekt av tiltak er ofte bygget opp av svake studier- «garbage in, garbage out»

37 Liten tradisjon blant lærere til å lese forskning (og lite i utdanningen som gjør de i stand til dette) Liten tilgang til forskningslitteratur Liten tilgang på materiell/undervisningsopplegg etc. som faktisk er forskningsbasert.

38 Å få til evidensbasert praksis i utdanningssektoren vil kreve innsats på mange nivåer over tid: -Holdning til kunnskap -Lærerutdanningen -Forskningsfokus og kvalitet -System for å formidle forskningsbasert kunnskap ut i utdanningssektoren i en form som er mulig å bruke praktisk.

39 Og til slutt

40 Er randomiserte kontrollerte studier gullstandarden innen forskning?

41 Og til slutt Er randomiserte kontrollerte studier gullstandarden innen forskning? NEI

42 Og til slutt Er randomiserte kontrollerte studier gullstandarden innen forskning? NEI, men

43 Og til slutt Er randomiserte kontrollerte studier gullstandarden innen forskning? NEI, men det er det eneste designet som «garanterer» konsistente estimat av en effekt uten bias!

44 Oppsummering Hva kan vi oppnå med flere effektstudier?

45 Oppsummering Hva kan vi oppnå med flere effektstudier? Hvis forskningsspørsmål, etiske og praktiske betraktninger tillater en RCT, kan vi forvente oss å oppnå et konsistente estimat av effektene av spesialpedagogisk tiltak

46 Oppsummering Hva kan vi oppnå med flere effektstudier? Hvis forskningsspørsmål, etiske og praktiske betraktninger tillater en RCT, kan vi forvente oss å oppnå et konsistente estimat av effektene av spesialpedagogisk tiltak og, med gode estimater av effekten av spesialpedagogiske tiltak

47 Stor potensiell gevinst innen utdanningssektoren: -Bedre opplæringstilbud for trengende barn og ungdom og - Økt status til lærerprofesjonen

48 Takk for oppmerksomheten !