Evaluering av utviklingsprosjekter – erfaringer og behov NTNU 26.5.11 Lone Lønne Christiansen Avdeling for skoleutvikling.

Presentasjon om: "Evaluering av utviklingsprosjekter – erfaringer og behov NTNU 26.5.11 Lone Lønne Christiansen Avdeling for skoleutvikling."— Utskrift av presentasjonen:

1 Evaluering av utviklingsprosjekter – erfaringer og behov NTNU 26.5.11 Lone Lønne Christiansen Avdeling for skoleutvikling

2 Disposisjon 1.Utgangspunkt, ståsted og erfaring som skoleutvikler og bruker 2.Hvorfor evaluere skoleutvikling? 3.Hvordan evaluere utvikling (hva er viktig for oss) og hva kreves av en utviklingsforsker? 4.Praksisfeltet, brukeren og forskningen

3 1. Utgangspunkt, ståsted og erfaring som skoleutvikler og bruker Bevisste utdanningsvalg 1997-2000 Delt rådgivningstjeneste 2000-2004 Satsing mot frafall 2004-2008 Kunnskapsløftet – fra ord til handling 2006- 2010 Mange ulike evalueringsmiljøer med ulike tilnærminger og svært ulik læringsverdi av evalueringene.

4 Hvordan jobber Utdanningsdirektoratet med skoleutvikling ? Utdanningsdirektoratets tre roller: –Myndighetsrolle –Fagrolle –Utviklingsrolle

5 Politikere/ departement Direktorat Politikere/ Kommuner og Fylkeskommuner Skoler Rektorer Lærere Klasserom og lærebedrifter Elever og lærlinger Statens rolle I: Ta beslutninger Gi pålegg Utarbeide lovverk Utvikle læreplaner Sende rundskriv Foreta evalueringer Foreta prioriteringer Vedta nasjonale strategier og handlingsplaner Uttrykke krav og kritikk Føre tilsyn og kontroll Underliggende syn på utvikling: Utvikling og endring skjer oven fra og ned Fylkesmenn Hvordan skjer utvikling? 1. Gjennom styring

6 Politikere/ departement Direktorat Politikere/ Kommuner og Fylkeskommuner Skoler Rektorer Lærere Klasserom og lærebedrifter Elever og lærlinger Statens rolle II: Støtte Hjelpe Mobilisere Stimulere Lytte Spørre Oppmuntre innovasjon Veilede Være på ”tilbudssiden” Underliggende syn på utvikling: Utvikling og endring skjer innenfra og gjennom mobilisering, støtte og hjelp Fylkesmenn Hvordan skjer utvikling? 2. Gjennom støtte

7 Utdanningsdirektoratets faglige grunnsyn: I all utvikling trenger man begge roller. Ofte bør det være ulik vektlegging i ulike faser

8 Kunnskapsløftet – fra ord til handl ing Målet for skoleutvikling er en god skole for elevene

9 2. Hvorfor evaluere skoleutvikling?

10 Betydningen av et eksternt blikk

11 Evaluering for læring Bruker evalueringer for mye eller for lite - eller bruker vi det feil? Er det behov for et kulturelt skifte i hvordan evalueringer vektlegges i praksis og i politikkutvikling? Eller er det behov for et kulturelt skifte i hvordan slike evalueringer designes og gjennomføres?

12 Ulike prosjekter og ulike krav - mellom politikk og praksis Stiller store krav til forskeren ift å: –skille tydelig mellom faglighet og politikk/ideologi –være faglig tydelig og dokumentert –være lojal mot oppdraget –være åpen og etterprøvbar –være kritisk, også til eget ståsted

13 Ulike prosjekter og ulike temaer Prosjekt Bevisste utdanningsvalg: Delt rådgivningstjeneste: Satsing mot frafall: Kunnskapsløftet – fra ord til handling: Temaer og forskningsfelt Kjønn, makt, motivasjon holdningsendring Organisasjon, veiledning, motstand Landsdekkende problematikk, lokale løsninger Betingelser for utvikling, lærende skole, kultur, organisasjon og ledelse

14 Dersom utgangspunktet er uklart blir resultatet en grøt Grunnlaget for en formativ evaluering –tydelig –må forholde seg til oppdragets logikk –må være relevant –må være oppdatert –må være prosessorientert –rask tilbakemelding er avgjørende

15 Hvilken kompetanse kreves av forskningsmiljøet? I tillegg til kompetanse på evaluering og metode må forskerne relatere seg til: Skole og skolesystemet på relevante nivå, dvs kontekst Utvikling og endringsteori Når temaet er organisasjonsutvikling, må forskerne kunne det. –Og fordi det er studert lite organisasjon og ledelse i skolen, må den kunnskapen hentes fra andre steder enn den pedagogiske forskningen

16 De største utfordringene vi har opplevd i Kfoth Mangel på organisasjonsfokus og organisasjonsforståelse Ujevn kvalitet hos eksterne fagmiljøer Lav fagkompetanse om endring

17 www.skolenettet.no/fraordtilhandling Kommune/ Fylkeskommune Kompetansemiljø/ Ressursperson Utvikling av skolen som omfatter både pedagogisk og organisatorisk praksis Skole/barnehage

18 Ulike mål og tiltak for bedre praksis og resultater Status Struktur, rutiner og verktøy for den daglige driften av skolen MÅL Pedagogiske metoder og verktøy Pedagogisk praksis arbeid med elevene Læringsresultater Struktur, rutiner og verktøy for læring og utvikling på skolen Struktur, rutiner og verktøy for samhandling med skoleeier Pedagogikk Organisasjon

19 Modell for utviklingsprosjekter Enddring Planlegge Sørge for varig endring Tid Initiere Prøve ut/ Ta i bruk Utvikle/ reflektere

20 Vi vet mye om å utvikle skoler Alle kan bli bedre ganske raskt For lite fokus på prosess Ulike utviklingstrinn krever ulike tiltak Kontekst bestemmer kanskje ikke hva, men hvordan ting må gjøres Noen tiltak er viktige på alle stadier Gode skoler er lærende organisasjoner Kriseforståelse eller endring i kontekst er et godt utgangspunkt Kontinuitet i ledelse

21 3. Hvordan evaluere utvikling? Fokus på prosess Ramme Perspektiv

22 Metodeproblemer For lite fokus på prosess og prosessmål Prosessperspektivet er viktig for å kunne lære av evalueringer Robert Coe (British journal of Education) –Bruk av survey –Kausalitet –For positiv kunnskapsoversikt –Rekrutteringsgrunnlag –Ikke generaliserbarhet

23 Formativ eller summativ evaluering ”… En prosessevaluering av prosjektet ”Bevisste utdanningsvalg”, slik departementet legger opp til her er en spesiell variant av den formative evalueringen. Målet med evalueringen er å finne tiltak som kan utvikle prosjektet ”Bevisste utdanningsvalg slik at man blir i bedre stand til å nå sine mål. Evalueringen skal bidra til læring.”

24 Fokus på de prosessene som tiltakene ønsker å påvirke Før-tilstanden må være kjent Referanseramme og teori må knyttes til forutsetninger og tiltak i prosjektet Mål og delmål for endring må defineres presist - i lys av referanseramme Resultatmåling versus prosessforståelse Heterogenitet gir særlige utfordringer Metodikk må være forståelig og etterprøvbar Valg av perspektiv: Hva skal evalueres? – hva er hensikten?

25 Kunnskapsløftet – fra ord til handling Trekant samarbeid Organisasjons utvikling Lokal autonomi fleksibilitet Ny praksis i klasserommet Evaluering og læring Elevenes læringsutbytte Hva er hensikten? Hva skal måles? Hvordan ? Hvordan fange opp heterogenitet? Svein S. Andersen

26 Generalitet, relevans og treffsikkerhet? Feltavgrensning – overordnet forståelse –Eks. vi vet allerede en del om endringsprosesser og forutsetninger for suksess Fokus på sentrale prosesser –Ledelse av endring –Lærende organisasjoner Avgjørende for gode spørsmål, tolkning og analyse Referanseramme

27 Om vi spør om de rette tingene, har representativt utvalg og god svarprosent – hva slags kunnskap får vi? –Egner seg for kartlegging og effektmålinger –Gir ingen konkret prosessforståelse –Heterogenitet gir tolkningsproblemer i forhold til konkrete utviklingsprosjekter Hva kan vi lære av surveyer?

28 Lite sannsynlig at generelle statistiske sammenhenger gir gode beskrivelser av beste praksis Hva kan case-studier bidra med? –Egner seg for prosesstudier –Åpner for forståelse av lokale variasjoner knyttet til ulike forutsetninger –Generelle kunnskap om sammenhenger mellom forhold man ønsker å påvirke – men ikke empirisk helhetsbeskrivelser Kan gi god kunnskap for forbedringer – om case velges med omhu Store variasjoner mellom kommuner og skoler

29 Bruk av case og fortellinger Albert Einstein: ”Ikke alt som kan telles teller, og ikke alt som teller kan telles” Oversatt av Roar Amdam: ”Noko kan tellast, men noko må fortellast”

30 Sitat fra Case om Charlottenlund ungdomsskole ”Skolene lærer ikke av egen praksis” - sier evalueringsrapporten om Kunnskapsløftet – fra ord til handling. Forfatterne av rapporten følger opp med et innlegg i Dagsavisen med overskriften ”Kjernevirksomheten i skolen – lærernes undervisningspraksis – er i liten grad berørt. ….”Har rapporten valgt eksempler fra feil hylle?” – svarer vi som har vært med på dette”.

31 Før-situasjonen gjøres kjent Presise forventninger om det som skal oppnås Hyppige evalueringer i lys av slike forventninger – gir læring Erfaringslæring er forventningsstyrt – trenger løpende korreksjon Når evalueringer settes bort: –Klargjøring av forutsetninger og forventninger – ingen mellomledd Evalueringsprosjekter - erfaringsbasert læring

32 4. Forholdet mellom praksisfeltet, brukeren og forskningen Respekt Ydmykhet Kommunikasjon Dialog Profesjonalitet Rolleforståelse

33 Kunnskapsbehov? Det er langt mellom hva vi vet om læring og hva vi gjør i skolen Implementering er en utfordring for oss Vi har en svak tilbakemeldingskultur Organisasjonsutvikling og skoleledelse Suksesshistorier – hvorfor er vår skole så bra?

34 Utfordring å bli bedre på Implementering Følge tiltak og virkemidler helt ut i sektoren Se ulike virkemidler i sammenheng Dokumentere resultater og effekter Bygge kunnskap om endringsprosesser og endringsstrategier For liten vekt på ledelse? For liten vekt på makt og interesser? For liten vekt på organisasjonskultur?

35 Review on Evaluation and Assessment Frameworks - uformell tilbakemelding fra OECD Hvordan vet dere i dag om mål er oppnådd med god/mindre god kvalitet? Norsk utdanning har behov for –tydeligere retning –klarere mål og felles referanser/standarder for hva som kjennetegner god kvalitet

36 Innholdssiden: 1.Sette standarder (målestokk, norm) (Standards) 2.Vurdere og gi tilbakemeldinger (Assessment) 3.Bygge og mobilisere kraft (evner, muligheter, kompetanse) (Capacity building) Organisatorisk tenkning: 4.Partnerskap, samarbeid, forankring, kollektiv kraft, involvere alle nivåer 5.Konsentrasjon om det viktigste 6.Langsiktighet Internasjonal lærdom om vellykket endring

37 Evaluering av utvikling i spenningsfeltet mellom den frie forskningen og konsulentvirksomhet Aksjonsforskning, grunnforskning og oppdragsforskning Å bruke små oppdrag til å bygge kompetanse og forskningsgrunnlag I spennet mellom forsker og konsulent Uavhengighet og distanse eller integritet og samarbeid Medlæring eller påvirkning Lærende organisasjoner og lærende samarbeid Formidling av resultater

38 Rapporter vedr Kfoth Evaluering av Kunnskapsløftet – fra ord til handling: Delrapport 1 - FAFO og Universitetet i Karlstad ”God praksis og god læring” Analyse av ansattes opplevelse av forhold ved skolen og betydningen for læringsutbytte - Oxford research Notat om erfaringer fra programmet ”Fra ord til handling” - Torbjørn Lund Notat: En refleksjon rundt utviklingsprosessen – IMTEC Analyse av skolevurderingsrapporter fra 2006 og 2007 – IMTEC Mobilisering til Kunnskapsløftet – fra ord til handling – Rambøll Management Evaluering av Kunnskapsløftet – fra ord til handling: Delrapport 2 - FAFO og Universitetet i Karlstad Analyse av resultatutviklingen i skoler som deltar i programmet Kunnskapsløftet – fra ord til handling – SSB Hvordan engasjere flere skoleledere og skoleeiere i skoleutvikling - Släger kommunikasjon Notat fra Steria mars 2009 – Steria Sammenfatning av sluttrapporter fra 2006-porteføljen - MCS:Consult Evaluering av Kunnskapsløftet – fra ord til handling: Sluttrapport - FAFO og Universitetet i Karlstad Sammenstilling av skuttrapportene fra 2007-porteføljen – Rambøll Management Case basert på 2007-porteføljen - Rambøll Management Betydningen av aktivt skoleeierskap - PWC Case – skoleledelse som nøkkelfaktor i skoleutvikling - MCS:Consult Case – helhetlig skoleutvikling – Øyvind Sæther Analyse av skolevurderingsmetodikken – IMTEC Antologien ”Skoleutvikling i praksis” Mats Ekholm m fl Gjennomgang og vurdering av søknader med IKT-tema - MCS:Consult Artikler i Bedre skole 2010 Sammenstilling/analyse av sluttrapporter 2008-porteføljen, PWC Case – kan et skoleutviklingsprosjekt endre undervisningspraksis? HiST 2011 Utvalgte rapporter ligger på: http://www.udir.no/Artikler/Skoleutvikling/http://www.udir.no/Artikler/Skoleutvikling/ Fra-ord-til-handling/Erfaringer-fra-Kunnskapsloftet---fra-ord-til handling/

39 Prosjektbasen Gi studenter og forskere tilgang til praksisfeltet og skoleutviklingsprosjektene Bidra til kompetanseutvikling Bidra til skoleforskning Tidlig publisering Grunnforskning Trening i analyse og vurdering

40 Med ønske om gjensidig nytte og læring - Lykke til med ny skoleforsknings- avdeling!