Resultatmåling av brukerstyrt forskning Styrker og svakheter Bjørn Bergem | Seminar om effektevaluering av forskning og innovasjon | 25. mai 2016

Metodisk tilnærming Data: Surveyundersøkelser rettet mot prosjektansvarlige bedrifter Året etter oppstart Året etter avslutning Langsiktig resultatmåling fire år etter avslutning Vurdering av samfunnsøkonomisk lønnsomhet basert på fire indikatorsett: Kunnskapsspredning og andre positive eksterne effekter Kompetansebygging i bedriftene, samarbeid/nettverk Kommersialisering og privatøkonomisk avkastning Innsatsaddisjonalitet

Populasjon 615 avsluttede prosjekter 2007-2011 Indikatorer fra langsiktig resultatmåling fire år etter prosjektavslutning (Basert på intervju med 324 prosjekter i populasjonen) Forskningsrådet avkastning Privatøk. Avkastning i bedriftene med IPN 1) 13.3 mrd.kr i 45 % av prosjektene 3.4 mrd.kr i støtte Stor betydning i 69 % av prosjektene Oppnådd 679 innovasjoner i 64 % av prosjektene Brukerstyrt FoU i bedriftene 11.3 mrd.kr (inkl. støtte) Kompetanse-heving i bedriftene Innovasjon produkter og prosesser Markeds-konkurranse Markeds-effekter 2) Betydelig i 45 % av prosjektene Avkastning i andre bedrifter Eksterne effekter FoU-institusjoner Samarbeid og leveranser av FoU-tjenester Kunnskaps-overføring Betydelig i 33 % av prosjektene Andre produktmarkeder Avkastning i andre bedrifter Kompetanse i andre bedrifter Innovasjon Patenter: 197 innvilget i 26 % av prosjektene Publisering: 758 artikler i vit.tidsskrift m/referee i 52 % av prosjektene Dr.grader: 138 avlagt i 27 % av prosjektene Nytte for kunder og brukere 1) Forventet nåverdi 2) Kostnadsbesparelser og kvalitetsheving i kundebedrifter eller nytte for forbrukere/sluttbrukere

styrker Spørreundersøkelsene samler inn et bredt sett av indikatorer for å belyse måloppnåelse i forhold til seleksjonskriteriene Brukerne av forskningen (bedriftene) er best i stand til å vurdere innovasjons- og markedspotensialet knyttet til prosjektene Undersøkelsene tar mål av seg å belyse retning og omfang av eksternaliteter (nytteverdi for eksterne aktører og effekter som ikke omsettes i noe marked) Komplementær til andre metodiske tilnærminger – en del av verktøykassen for å «triangulere» virkninger og effekter (måloppnåelse) Monitorering av porteføljen over tid, og innen en rimelig tidshorisont, muliggjør kalibrering av seleksjonskriterier Grunnlag for benchmark mellom grupper av case for å avdekke innbyrdes forskjeller (program, bedriftsstørrelse, prosjektstørrelse, etc.)

Svakheter/Utfordringer Samarbeidspartnere i prosjektene ikke inkludert – underestimering av resultater og effekter? Attribusjonsutfordringer: Portefølje av komplementære prosjekter i bedriftene Virkninger oppstår i en interaksjon med omgivelsene/marked Samspill med andre virkemidler / tidligere prosjekter Omfang av eksternaliteter vanskelig å måle Bedriftene ikke vant til å tenke samfunnsøkonomiske effekter? (Mer opptatt av forskningens output og bedriftsøkonomi) Vurdering av nyttegevinster avhengig av kontekst Kontrollgruppe Hva skjer med avslagsprosjektene? En supplerende tilnærming for å konkretisere omfanget av eksterne virkninger kan være dybdeintervjuer med sentrale aktører i utvalgte prosjekter

hva det er realistisk å forvente av denne type effektevaluering? Får kvittert ut hvorvidt Forskningsrådet velger ut en portefølje som er i tråd med samfunnsansvaret Innsatsaddisjonalitet: Har informasjon om hvor stor andel av prosjektene hvor støtten har vært utløsende for realisering. Privatøkonomisk avkastning: Kan si noe om forventet avkastning, sett i forhold til støtten fra NFR. Over tid har vi relativt god informasjon om avkastningen som er knyttet til prosjektene, men at mye av avkastningen er knyttet til fremtidig inntjening. Kunnskapseksternaliteter og pekuniære effekter: Kan si noe om omfang og bedriftenes subjektive vurdering av betydningen, men vanskelig å verdsette i kroner. Analysen kan gi input til Forskningsrådet i arbeidet med å videreutvikle seleksjonsverktøyet så vel som innretning av virkemiddelet. Tidsaspektet Det kan ta lang tid før forskningen får kommersiell og samfunnsmessig betydning. Dersom resultatmålingene gjennomføres lenge etter prosjektavslutning kan data ofte bli mer diffuse.

Takk for oppmerksomheten Bjørn Bergem| bjorn.g.bergem@himolde.no