Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

Er standarder en betingelse for godt evalueringsarbeid? Foredrag på EVA-seminar 8 Hurdalsjøen 5-6 september 2002 Hans Torvatn, SINTEF Teknologiledelse.

Liknende presentasjoner


Presentasjon om: "Er standarder en betingelse for godt evalueringsarbeid? Foredrag på EVA-seminar 8 Hurdalsjøen 5-6 september 2002 Hans Torvatn, SINTEF Teknologiledelse."— Utskrift av presentasjonen:

1 Er standarder en betingelse for godt evalueringsarbeid? Foredrag på EVA-seminar 8 Hurdalsjøen 5-6 september 2002 Hans Torvatn, SINTEF Teknologiledelse

2 Hva er en standard? n Ikke et helt enkelt begrep, men her definerer jeg det som: n En (eller flere) rutine(r) som forteller –Hvilke typer arbeid som skal utføres –Hvordan et arbeid skal utføres –Hvilke “produkt” et arbeid skal resultere i n Grovt sagt: norm for arbeid

3 Svaret på spørsmålet: n JA! –Utvetydig, uten forbehold –Men oppgaven var vel et lurespørsmål….

4 Hvorfor skal vi ha standarder? n Standarder gir retningslinjer for hvordan evalueringer skal utføres (hjelper før, underveis og i vurdering av kvalitet) n Standarder forteller noe om hva som er godt og dårlig evalueringsarbeid n Det finnes en rekke implisitte standarder- eksplisitte er bedre fordi: –Gir bedre hjelp på forhånd/underveis –Revideres

5 Dette er gammelt nytt-hvorfor har vi ikke standarder allerede? n Det er lettere å anbefale standarder enn å lage gode standarder. Typiske feil: –For ensidig/ overforenklet eller for kompliserte –For få eller for mange (1 standard er garantert for lite!) –For generelle (høyt nivå) eller for spesifikke (detaljerte) –Politisk gitt –Gis bare til evaluatorene

6 Eksempel på enøyd standard

7 Eksempel på overordnede statander: Dagens AEA-standarder n Guiding Principles (All evaluators) –Systematic inquiry –Competence –Integrety/honesty –Respect for people –Responsibility for general and public welfare n Program Evaluation Standards (Ed.) n Personell Evaluation Standards

8 Videre detaljering av standarder: AEA program evaluation standards n Utility standards (7) n Feasiblity standards (3) n Propriety standards (8) n Accuracy standards (12) n Ulike standarder til ulik bruk! n Fremdeles “høyt” nivå!

9 Vanskelig å komme fra teori til praksis i standardarbeidet n Mulighetene for dårlige standarder er mange- og vi har alle sett eksempler på dårlige/ unødvendige standarder n Både oppdragsgiver og evaluator kan ha fordeler av unngå at det stilles krav til evalueringen n Utvikling av standard er arbeidskrevende- lettere å unngå arbeidet med å utvikle dem n Men det bør gjøres- oppgave for NFR

10 Spørsmålet er ikke ja eller nei til standarder i evaluering.. n Når trenger vi standarder? n Hvem skal lage dem? (Maktposisjon) n På hvilket nivå? –Personellkrav? –Metode(r) krav? –Etikk-krav? –Analyse-krav? –Vurdering/bedømmelse?

11 Hvor brenner det mest? n Evaluatorene er faktisk den gruppen som det allerede finnes mest standarder for (teorier, kollegaers praksis, utdanning, allmene metodekrav)- men det mangler krav til vurdering n Oppdragsgivere- ingen krav til profesjonalitet i bestillerfunksjon n Brukere- ingen krav til å levere data

12 Behov for standarder for vurdering n Hva er evaluators grunnlag for å si at noe er godt/dårlig? n Trenger standardspørsmål for å sammenligne addisjonalitet,bruker-tilfredshet, økonomisk utvikling, kostnadsstruktur mm n Trenger nivå for å kunne si hva som er godt eller dårlig (Er 2 av 3 fornøyde godt, middels eller dårlig? Hva er rimelige kostnader ved drift av program?) n Erfaringsbaserte justeringer av brukerutsagn (Hervik- Rolfsens konstant)

13 Standard for oppdragsgiver n Rutiner for tidspunkt for evaluering n Rutiner for tema som skal tas opp i evalueringen (sikre sammenligning) n Rutiner for invitasjon til å komme med tilbud (EØS- reglene vil vel hjelpe) n Rutiner for prisfastsetting- hvor mye penger skal vi bruke på en evaluering n Rutiner for kontakt og rapportering n Rutiner for oppsummering og videreutvikling av evaluering (inkl. Standarder)

14 Standarder for brukere n Vi må kunne kreve av brukerne at de stiller med en del opplysninger om seg selv i forbindelse med evalueringene n Svare på spørreskjema som tar under 30 minutter n Levere fra seg økonomiske data før under og etter deltakelse (spesifisert hva, når og hvordan ved oppstart)

15 En liten advarsel til slutt n Standarder er en god ting- det bør utvikles flere n Standarder bør definere minimum- ikke maksimum praksis n Husk også at det må være rom for å gjøre ting annerledes enn det standardene sier n Standarder MÅ utvikles og revideres


Laste ned ppt "Er standarder en betingelse for godt evalueringsarbeid? Foredrag på EVA-seminar 8 Hurdalsjøen 5-6 september 2002 Hans Torvatn, SINTEF Teknologiledelse."

Liknende presentasjoner


Annonser fra Google