Evaluering av de nasjonale sentrene i opplæringen.

Presentasjon om: "Evaluering av de nasjonale sentrene i opplæringen."— Utskrift av presentasjonen:

1

2 Evaluering av de nasjonale sentrene i opplæringen

3 Beate Tislevoll, Avdeling for forskning og internasjonalt arbeid

4 Avdeling for forskning og internasjonalt arbeid Avdeling for forskning og internasjonalt arbeid har som hovedoppgave å bidra til et godt kunnskapsgrunnlag for utvikling av grunnopplæringen basert på nasjonal og internasjonal forskning og analyse. Avdelingen har et overordnet ansvar for koordinering av alle aktiviteter i Utdanningsdirektoratet knyttet til forskning, evalueringer og internasjonale komparative studier. Avdelingen skal bidra til at utvikling av nye strategier og tiltak er basert på dokumentert kunnskap, og at tiltak utformes på en slik måte at det er mulig å evaluere effekter og måloppnåelse.

5 10 nasjonale sentre skal bidra til å utvikle kvaliteten på grunnopplæringen Åtte sentre evaluert: Nasjonalt senter for flerkulturell opplæring (NAFO) Fremmedspråksenteret Kunst- og kultursenteret Lesesenteret Matematikksenteret Naturfagsenteret Nynorsksenteret Skrivesenteret To ikke evaluert: Senter for mat, helse og fysisk aktivitet og Læringsmiljøsenteret

6 Om de nasjonale sentrene De nasjonale sentrene er organisert etter § 1-4 Lov om universiteter og høgskoler: (4) Departementet kan i samråd med institusjonen legge driften av en nasjonal fellesoppgave til en bestemt institusjon, uten at institusjonens egne styringsorgan har ansvaret for den faglige virksomheten. Faglig styring og oppfølging av de nasjonale sentrene er delegert fra Kunnskapsdepartementet til Utdanningsdirektoratet. Kunnskapsdepartementet inngikk samarbeidsavtaler med vertsinstitusjonene da sentrene ble etablert.

7 Bakgrunn for evalueringsoppdraget Mars 2013 ble «Arbeidsgruppe for gjennomgang og vurdering av faglige, økonomiske og administrative problemstillinger vedrørende de nasjonale sentrene» etablert med deltakere fra Kunnskapsdepartementet og Utdanningsdirektoratet. Arbeidsgruppen bestilte evaluering av de nasjonale sentrene i opplæringen. På grunn av omorganisering i Utdanningsdirektoratet, - styring av sentrene ble overført fra fagavdelingene til en egen styringsavdeling -, ble arbeidsgruppen nedlagt allerede før konkurransegrunnlaget til evalueringen ble utformet. Behovet for kunnskap var fortsatt til stede og evalueringsoppdraget ble gjennomført

8 Konkurransegrunnlaget Oppdraget skulle utføres i tidsrommet 01.10.2013 – 01.10.2014 Total kostnadsramme inntil NOK 2.000.000 inkl. mva. Formålet med evalueringen var å få et bilde av hvordan endringer i mandat i 2010, oppdrag og ansvarsområde har påvirket det faglige arbeidet, organisering og drift i de nasjonale sentrene fra 2010 og til i dag. Evalueringen skulle danne grunnlag for å vurdere om sentrene oppleves som en nyttig, faglig ressurs i sektoren og å vurdere styrker og svakheter ved Utdanningsdirektoratets styring av sentrene.

9 Prosessen med valg av utfører - innstillingsnotat Konkurransegrunnlaget ble lagt ut på Doffin og TED 3. juni 2013 via Mercell - portalen. Frist for å sende inn tilbud ble satt til 2. september 2013 kl 12:00. Det kom inn fire tilbud. To miljøer ble invitert til forhandlingsmøte. NIFU valgt på grunn av forskerteamets kompetanse, tilbudets bruk av relevant forskning og åpne, utforskende tilnærming til problemstillingene i konkurransegrunnlaget. Saksbehandlergruppen vurderte at denne tilnærmingen ville gi nye perspektiver til styring og bruk av de nasjonale sentrene.

10 Prosedyrebeskrivelser, lenker til lovparagrafer og maler

11 Forskningsplakaten Prosedyrebeskrivelse for anskaffelser av evaluerings- og forskningsoppdrag Fase 1 Forberedelse Fase 2 Kunngjøring av konkurranse Fase 3 Avslutning av konkurranse Fase 4 Avtaleprosessen Fase 5 Oppfølging av oppdraget og oppdragstaker Fase 6 Rapportering og publisering Fase 7 Avslutning av oppdraget Fase 8 Formidling av resultater

12 Viktige erfaringer og læring fra prosessen Prosedyrebeskrivelsene må med jevne mellomrom presenteres, repeteres og justeres. Forskningsplakatens innhold skal være ryggmargsrefleksen til alle i Avdeling for forskning og internasjonalt arbeid (FIA).

13 Viktige erfaringer og læring fra nærmere utforming av oppdraget i forbindelse med avtale/kontraktinngåelse Presisere at vi skal bruke ekstern vurderer fra Forskerpanelet til å vurdere tilbud i anbudskonkurranser. Vi bruker ikke lenger begrepet «underveisrapport».

14 Når politiske bestillinger endrer seg underveis i selve evalueringsprosessen «Bakgrunn for tilleggsoppdraget til NIFU et at Utdanningsdirektoratet ut fra kravspesifikasjon for det opprinnelige oppdraget og underveisrapportering fra dette, er av den oppfatning at oppdraget i sin opprinnelige form ikke vil fange opp viktige aspekter som direktoratet har behov for å få belyst i forbindelse med oppdragsbrev 14-14 fra Kunnskapsdepartementet til direktoratet. Dette er et oppdragsbrev direktoratet mottok først i mai 2014. Det er oppdragsbrev 14-14 kulepunkt 3 som ligger til grunn for at direktoratet ønsker å drøfte et tilleggsoppdrag med NIFU: «Vurdere konsekvensene av at sentrene både arbeider mot universitets- og høyskoleinstitusjoner/lærerutdanningene og direkte mot barnehagesektoren og grunnopplæringen»

15 Oppdragsbrev 14-14 Vurdere og gi anbefalinger knyttet til de nasjonale sentrenes formål, økonomi og styringsstruktur Punkt 3 førte til utvidelse av NIFUs oppdrag 14 dagers utsettelse utkast til sluttrapport, oversendelse av ferdig sluttrapport utsatt en måned.

16 Viktige erfaringer fra kontakt med og oppfølging av utfører i selve evalueringsprosessen Forskere frustrerte fordi oppdraget endret seg underveis. Utvidelsen av oppdraget førte til forsinkelser. Arbeidsbelastningen på noen av forskerne ble svært stor fordi flere oppdrag hadde leveringsfrist omtrent samtidig. Rapporten ble likevel god. Forskerne mente at dette var en faglig interessant rapport å arbeide med, noe som gjorde at de nedla ekstrainnsats ut over det som var budsjettert (eller at de tok ressurser fra andre prosjekter der sluttproduktet ikke fikk samme kvalitet).

17 Viktig læring fra kontakt med og oppfølging av utfører i selve evalueringsprosessen Viktigheten av at tidsfrister overholdes og mulighet for å levere kvalitet på leveranser må tematiseres. Direktoratet må presentere hvordan sluttproduktet skal brukes inn i politiske prosesser og/eller inn i faglige prosesser uten å påvirke forskningen og presentasjon av funn. Direktoratets rolle er å påpeke faktafeil og eventuelle avvik fra avtalen, oppklare misforståelser og sikre rapporter som er lesbare for allmennheten.

18 Saksbehandlergruppe Hvert forsknings- eller evalueringsoppdrag får en saksbehandlergruppe bestående av to fra Avdeling for forskning og internasjonalt arbeid (FIA) og representanter fra andre relevante avdelinger i direktoratet. Ansvarlig saksbehandler i FIA leder arbeidet i gruppen. Oppgaver: Utforme konkurransegrunnlaget Delta i forhandlingsmøter Delta i vurderingen av innkomne tilbud Lese og kommentere rapportutkast Bidra til oppsummeringsrapport som skal oversendes Kunnskapsdepartementet etter mottatt sluttrapport Videreformidle innholdet i rapporten til egen avdeling

19 Forskerpanel Alle større oppdrag har en ekstern vurderer fra FIAs forskerpanel. Den eksterne vurdereren har forskerkompetanse og må ikke være involvert i miljøene som har levert tilbud/ har evalueringsoppdraget. Som deltaker i Utdanningsdirektoratets forskerpanel bistår forskeren direktoratet med ekstern kvalitetssikring av tilbud i konkurranser om kartleggings- og forskningsoppdrag, og i kvalitetssikring av mottatte utkast til rapporter. Kvalitetssikringen skjer etter gitte retningslinjer for ekstern vurdering av tilbud og rapporter. Arbeidet honoreres etter statens takster for utvalgsgodtgjørelse / egen avtale. Forvaltningslovens bestemmelser (10. februar 1967) om habilitet og taushetsplikt kommer til anvendelse ved ekstern, faglig vurdering.

20 Bruk av evalueringsresultatet Oppsummeringsnotat og ferdig sluttrapport sendt til Kunnskapsdepartementet, 28. november 2014. Rapporten publisert på udir.no medio desember 2014. Sluttrapporten en av flere kilder i direktoratets svar på oppdragsbrev 14-14 Vurdere og gi anbefalinger knyttet til de nasjonale sentrenes formål, økonomi og styringsstruktur, sendt Kunnskapsdepartementet 15. januar 2015. Rapporten presentert i ulike fora i Utdanningsdirektoratets og NIFUs regi. Alle evaluerings- og forskningsrapporters settes opp på agendaen for Direktørmøtet i Utdanningsdirektoratet.

21 Bruk av evalueringsresultatet Ingen beslutninger tatt på grunnlag av rapporten, men innholdet brukt i ulike sammenhenger internt i Utdanningsdirektoratet. Blant annet er innholdet brukt som kunnskapsgrunnlag for Utdanningsdirektoratets høringssvar til rapporten: Kunnskapssektoren sett utenfra. Gjennomgang av de sentraladministrative oppgavene i kunnskapssektorennskapsdepartementet, Gjedrem og Fagernæs (2016).

22 Oppsummering «Mål- og resultatstyring virker best hvis vi får til en god balanse og sammenheng mellom løpende måling på forhåndsdefinerte indikatorer og bruk av evalueringsmetoder for å utdype, se helhet og gjøre vurderinger.» I tilfellet Evaluering av de nasjonale sentrene valgte vi et tilbud som kunne gi oss det siste. NIFU la opp evalueringen som en multippel casestudie, det vil si en sammenlikning av flere case, her forstått som de åtte nasjonale sentrene og Utdanningsdirektoratets styring av dem. Interessante forskningsspørsmål oppsto under forskningsprosessen. NIFU tok utgangspunkt i governance-begrepet og agency-teori. Dette perspektivet har vært bevisstgjørende og nyttig for oss i direktoratet. Funnene i evalueringen har vært et viktig tilskudd til direktoratets kunnskapsgrunnlag for utvikling av grunnopplæringen.

23