Laste ned presentasjonen
Presentasjon lastes. Vennligst vent
PublisertTobias Mathisen Endret for 9 år siden
1
Er standarder en betingelse for godt evalueringsarbeid? Foredrag på EVA-seminar 8 Hurdalsjøen 5-6 september 2002 Hans Torvatn, SINTEF Teknologiledelse
2
Hva er en standard? n Ikke et helt enkelt begrep, men her definerer jeg det som: n En (eller flere) rutine(r) som forteller –Hvilke typer arbeid som skal utføres –Hvordan et arbeid skal utføres –Hvilke “produkt” et arbeid skal resultere i n Grovt sagt: norm for arbeid
3
Svaret på spørsmålet: n JA! –Utvetydig, uten forbehold –Men oppgaven var vel et lurespørsmål….
4
Hvorfor skal vi ha standarder? n Standarder gir retningslinjer for hvordan evalueringer skal utføres (hjelper før, underveis og i vurdering av kvalitet) n Standarder forteller noe om hva som er godt og dårlig evalueringsarbeid n Det finnes en rekke implisitte standarder- eksplisitte er bedre fordi: –Gir bedre hjelp på forhånd/underveis –Revideres
5
Dette er gammelt nytt-hvorfor har vi ikke standarder allerede? n Det er lettere å anbefale standarder enn å lage gode standarder. Typiske feil: –For ensidig/ overforenklet eller for kompliserte –For få eller for mange (1 standard er garantert for lite!) –For generelle (høyt nivå) eller for spesifikke (detaljerte) –Politisk gitt –Gis bare til evaluatorene
6
Eksempel på enøyd standard
7
Eksempel på overordnede statander: Dagens AEA-standarder n Guiding Principles (All evaluators) –Systematic inquiry –Competence –Integrety/honesty –Respect for people –Responsibility for general and public welfare n Program Evaluation Standards (Ed.) n Personell Evaluation Standards
8
Videre detaljering av standarder: AEA program evaluation standards n Utility standards (7) n Feasiblity standards (3) n Propriety standards (8) n Accuracy standards (12) n Ulike standarder til ulik bruk! n Fremdeles “høyt” nivå!
9
Vanskelig å komme fra teori til praksis i standardarbeidet n Mulighetene for dårlige standarder er mange- og vi har alle sett eksempler på dårlige/ unødvendige standarder n Både oppdragsgiver og evaluator kan ha fordeler av unngå at det stilles krav til evalueringen n Utvikling av standard er arbeidskrevende- lettere å unngå arbeidet med å utvikle dem n Men det bør gjøres- oppgave for NFR
10
Spørsmålet er ikke ja eller nei til standarder i evaluering.. n Når trenger vi standarder? n Hvem skal lage dem? (Maktposisjon) n På hvilket nivå? –Personellkrav? –Metode(r) krav? –Etikk-krav? –Analyse-krav? –Vurdering/bedømmelse?
11
Hvor brenner det mest? n Evaluatorene er faktisk den gruppen som det allerede finnes mest standarder for (teorier, kollegaers praksis, utdanning, allmene metodekrav)- men det mangler krav til vurdering n Oppdragsgivere- ingen krav til profesjonalitet i bestillerfunksjon n Brukere- ingen krav til å levere data
12
Behov for standarder for vurdering n Hva er evaluators grunnlag for å si at noe er godt/dårlig? n Trenger standardspørsmål for å sammenligne addisjonalitet,bruker-tilfredshet, økonomisk utvikling, kostnadsstruktur mm n Trenger nivå for å kunne si hva som er godt eller dårlig (Er 2 av 3 fornøyde godt, middels eller dårlig? Hva er rimelige kostnader ved drift av program?) n Erfaringsbaserte justeringer av brukerutsagn (Hervik- Rolfsens konstant)
13
Standard for oppdragsgiver n Rutiner for tidspunkt for evaluering n Rutiner for tema som skal tas opp i evalueringen (sikre sammenligning) n Rutiner for invitasjon til å komme med tilbud (EØS- reglene vil vel hjelpe) n Rutiner for prisfastsetting- hvor mye penger skal vi bruke på en evaluering n Rutiner for kontakt og rapportering n Rutiner for oppsummering og videreutvikling av evaluering (inkl. Standarder)
14
Standarder for brukere n Vi må kunne kreve av brukerne at de stiller med en del opplysninger om seg selv i forbindelse med evalueringene n Svare på spørreskjema som tar under 30 minutter n Levere fra seg økonomiske data før under og etter deltakelse (spesifisert hva, når og hvordan ved oppstart)
15
En liten advarsel til slutt n Standarder er en god ting- det bør utvikles flere n Standarder bør definere minimum- ikke maksimum praksis n Husk også at det må være rom for å gjøre ting annerledes enn det standardene sier n Standarder MÅ utvikles og revideres
Liknende presentasjoner
© 2024 SlidePlayer.no Inc.
All rights reserved.