Noen kommentarer til Kostrat evalueringen EVA-8 Hurdalsjøen 5-6 september 2002 Hans Torvatn, SINTEF Teknologiledelse

Evalueringsarbeid innenfor en velkjent sjanger §Grundig og god beskrivelse av aktivitetene §Godt kjent med hva som hadde vært gjort før (pluss for det) §Samme metode og problemstillinger (spørreskjema om måloppnåelse, effektivitet, addisjonalitet) §Samme velkjente problemer: For lite data fra brukerne (Skyldes at det ikke stilles krav til brukerne- alle ville fått det samme problem som ECON) §Klare råd til oppdragsgivere (noen av rådene er velkjente også)

En dristig tittel på et avsnitt som viser annerledes tenking  “ Vanskelig å forsvare som næringspolitisk virkemiddel til tross for klart positiv brukernytte og evaluering” (Om PU-nettverk) §Veldig bra av ECON å ikke legge ensidig vekt på brukernes vurderinger og brukernes nytte (julenissen er alltid populær og det er mye det er kjekt å ha)

Men hvorfor baserer man da evalueringen på brukerne? §Tidligere evalueringer tilsier at man vil få akkurat de svarene fra brukerne som ECON har fått- uansett hvilket miljø man bruker §ECON skiller seg positivt ut ved å trekke litt mer offensive konklusjoner- MEN §Er det samsvar mellom data og konklusjon? §Dersom brukertilfredshet ikke er godt nok- hva ER godt nok? §Hvordan tester man det?

Addisjonalitet er hovedtesten §ECON følger den norske evalueringstradisjonen (fra Finne) på addisjonalitet ved å sjekke for utløsende effekt, størrelse, retning- men glemmer kvalitetskontrollen som eksterne kan gi §ECON blir altfor optimistiske i sin analyse av hva bedriftene ville fått til uten hjelp §Det er bra at ikke alt er nytt- det er helt usannsynlig at lite konsulentprogram skal endre utviklingen i en bedrift (selv en liten) radikalt §Bedrifter følger IKKE opp lovverk automatisk (må være økonom for å tro det)

Det store spørsmålet §Inntrykket mitt er at ECON vurderer KOSTRAT opp mot nyklassiske økonomiske teorier- KOSTRAT kan ikke lykkes slik testen er utformet fordi det er altfor strenge krav til addisjonalitet §Dette kunne man sagt på FORHÅND- før data ble innhentet (Tidligere addisjonalitetsanalyser) §Hvorfor er brukerne er hoveddatakilde (ref s 14) dersom man ikke hører på dem? §Hvorfor gjør da ECON i det hele tatt en slik evaluering? (Og hvorfor ber SND hele tiden om ris til egen bak????)