Er standarder en betingelse for godt evalueringsarbeid? Foredrag på EVA-seminar 8 Hurdalsjøen 5-6 september 2002 Hans Torvatn, SINTEF Teknologiledelse

Hva er en standard? n Ikke et helt enkelt begrep, men her definerer jeg det som: n En (eller flere) rutine(r) som forteller –Hvilke typer arbeid som skal utføres –Hvordan et arbeid skal utføres –Hvilke “produkt” et arbeid skal resultere i n Grovt sagt: norm for arbeid

Svaret på spørsmålet: n JA! –Utvetydig, uten forbehold –Men oppgaven var vel et lurespørsmål….

Hvorfor skal vi ha standarder? n Standarder gir retningslinjer for hvordan evalueringer skal utføres (hjelper før, underveis og i vurdering av kvalitet) n Standarder forteller noe om hva som er godt og dårlig evalueringsarbeid n Det finnes en rekke implisitte standarder- eksplisitte er bedre fordi: –Gir bedre hjelp på forhånd/underveis –Revideres

Dette er gammelt nytt-hvorfor har vi ikke standarder allerede? n Det er lettere å anbefale standarder enn å lage gode standarder. Typiske feil: –For ensidig/ overforenklet eller for kompliserte –For få eller for mange (1 standard er garantert for lite!) –For generelle (høyt nivå) eller for spesifikke (detaljerte) –Politisk gitt –Gis bare til evaluatorene

Eksempel på enøyd standard

Eksempel på overordnede statander: Dagens AEA-standarder n Guiding Principles (All evaluators) –Systematic inquiry –Competence –Integrety/honesty –Respect for people –Responsibility for general and public welfare n Program Evaluation Standards (Ed.) n Personell Evaluation Standards

Videre detaljering av standarder: AEA program evaluation standards n Utility standards (7) n Feasiblity standards (3) n Propriety standards (8) n Accuracy standards (12) n Ulike standarder til ulik bruk! n Fremdeles “høyt” nivå!

Vanskelig å komme fra teori til praksis i standardarbeidet n Mulighetene for dårlige standarder er mange- og vi har alle sett eksempler på dårlige/ unødvendige standarder n Både oppdragsgiver og evaluator kan ha fordeler av unngå at det stilles krav til evalueringen n Utvikling av standard er arbeidskrevende- lettere å unngå arbeidet med å utvikle dem n Men det bør gjøres- oppgave for NFR

Spørsmålet er ikke ja eller nei til standarder i evaluering.. n Når trenger vi standarder? n Hvem skal lage dem? (Maktposisjon) n På hvilket nivå? –Personellkrav? –Metode(r) krav? –Etikk-krav? –Analyse-krav? –Vurdering/bedømmelse?

Hvor brenner det mest? n Evaluatorene er faktisk den gruppen som det allerede finnes mest standarder for (teorier, kollegaers praksis, utdanning, allmene metodekrav)- men det mangler krav til vurdering n Oppdragsgivere- ingen krav til profesjonalitet i bestillerfunksjon n Brukere- ingen krav til å levere data

Behov for standarder for vurdering n Hva er evaluators grunnlag for å si at noe er godt/dårlig? n Trenger standardspørsmål for å sammenligne addisjonalitet,bruker-tilfredshet, økonomisk utvikling, kostnadsstruktur mm n Trenger nivå for å kunne si hva som er godt eller dårlig (Er 2 av 3 fornøyde godt, middels eller dårlig? Hva er rimelige kostnader ved drift av program?) n Erfaringsbaserte justeringer av brukerutsagn (Hervik- Rolfsens konstant)

Standard for oppdragsgiver n Rutiner for tidspunkt for evaluering n Rutiner for tema som skal tas opp i evalueringen (sikre sammenligning) n Rutiner for invitasjon til å komme med tilbud (EØS- reglene vil vel hjelpe) n Rutiner for prisfastsetting- hvor mye penger skal vi bruke på en evaluering n Rutiner for kontakt og rapportering n Rutiner for oppsummering og videreutvikling av evaluering (inkl. Standarder)

Standarder for brukere n Vi må kunne kreve av brukerne at de stiller med en del opplysninger om seg selv i forbindelse med evalueringene n Svare på spørreskjema som tar under 30 minutter n Levere fra seg økonomiske data før under og etter deltakelse (spesifisert hva, når og hvordan ved oppstart)

En liten advarsel til slutt n Standarder er en god ting- det bør utvikles flere n Standarder bør definere minimum- ikke maksimum praksis n Husk også at det må være rom for å gjøre ting annerledes enn det standardene sier n Standarder MÅ utvikles og revideres