Effektanalyse i evalueringen av de teknisk- industrielle forskningsinstituttene i Norge 2015 Frode Georgsen, 23. mai 2016

Forskningsrådets instituttevalueringer 2014-> Ingen spesifikk effekt- analyse Økonomisk verdiskapning (mest kvantitativ) Case basert, kvalitativ

Et internasjonalt panel har evaluert 14 teknisk-industrielle institutter i Norge. Panelet leverte sin sluttrapport i desember 2015.

Kunnskapsgrunnlaget for evalueringen -Spørreundersøkelse -Beregning av økonomisk verdi

Instituttenes selv-evaluering

Tidligere studier som vekket vår interesse Utgangspunkt: Instituttenes bidrag til verdiskapning i samfunnet, først og fremst målt ved økonomiske indikatorer

Vurderinger i forkant  Tid – evalueringen hadde en tidsplan  Pris – evalueringen hadde et budsjett  Hva skal analysen brukes til?  Først og fremst som underlag for evalueringsutvalget  Del av en pakke med tre analyser  Usikkerhet om hva som var mulig å oppnå  Anbudskonkurranse  Prosjektbeskrivelse  Tildelingskriterier

Kvalitativ analyse Web survey with 518 responses (same as for user survey): 79 interviews (same as for user survey): CategoryNorwegianForeignAll Partners Clients All User categoryNorwegianForeignTotal Private clients18927 Public clients13316 Private partners19524 Public partners9312 All592079

52% av SMB 36% av store bedrifter 52% av SMB 36% av store bedrifter ”Å kjøpe tjenester av institutter gir økt omsetning.” 41% av SMB 28% av store bedrifter 41% av SMB 28% av store bedrifter ”Samarbeid med institutter i offentlige FoU-prosjekter gir økt omsetning.” Spørreundersøkelse

Kvalitativ analyse (eksempel) Figure 3 The extent to which buying R&D services from the institute has contributed to intermediate impact for the organisation. Source: Web survey.

Beregninger av økonomisk verdi

Direkte økonomisk verdiskapning  Samlet omsetning 1997 – 2013 på 45 mrd. kroner («1998-kroner»)  Synkende andel oppdragsinntekter fra norsk industri. Økende bidragsandel fra Forskningsrådet og EU.

Direkte økonomisk verdiskapning Hver krone offentlige støtte har generert 3,40 kroner fra andre kilder «Crowding in»: 10 % økning i offentlig støtte => 2,9 % økning i andre inntekter året etter

Direkte, indirekte og avledet økonomisk verdiskapning Total Leverage Norwegian public funding [A]NOK10.2bn Other income [B]NOK34.5bn Ratio [B]/[A]3.4 Direct economic impact Norwegian public funding [A]NOK10.2bn Value added: Personnel costs (salaries and social security)NOK25.8bn Profit before taxNOK1.1bn Total value added [C]:NOK26.9bn Ratio [C]/[A]2.6 Den økonomiske verdiskapningen fra TI instituttenes aktiviteter er summen av direkte effekter (26,9 mrd.) og indirekte og avledete effekter(9,9 mrd.), altså 36,8 mrd. kroner i perioden 1997–2013 (“1998-kroner”).

Verdiskapning gjennom etablering av nye selskaper  117 selskaper etablert i 1997–2013  Total omsetning på 10,8 mrd. (“1998-kroner”) i 1998–2013.  Fra 2009: 600+ årsverk

Verdiskapning i andre selskaper gjennom instituttenes FoU-aktivitet («spillover effects») Matchings-algoritme gir 2657 brukere og 1940 ikke- brukere Måler forskjellen i utvikling i omsetning og produktivitet i inntil fem år etter oppstart av samarbeid Hva er samlet effekt av bedriftenes samarbeid med instituttene i ?

Effekt av samarbeid med TI-institutter Effekt på omsetning for 2657 «bruker»-selskaper vs. et kontrafaktisk scenario uten samarbeid Utvikling i omsetning de første fem år etter at samarbeid med TI- institutt startet

800 milliarder NOK ~= 1,1% av all omsetning for alle norske selskaper i perioden Beregninger av økonomisk verdi

20 Technopolis’ egne refleksjoner:  The model (and the sample size) used is robust and appropriate for the analysis  However, for lack of data we cannot control for dynamic qualities, such as a user’s decision to collaborate with a TI institute perhaps being part of an aggressive growth strategy  Hence, users may have made other investments, and in particular additional R&D investments, and it is quite possible that non-users do not mirror such a broader endeavour  Consequently, it is possible that some selection bias remains, with users somehow having a greater propensity for growth than non-users  We judge that the large estimated additional turnover is not fully attributable to TI institute collaboration, and that some proportion of the increased output estimated is due to users’ own qualities, probably including complementary investments  However, it is reasonable to conclude that the TI institutes have been critical in facilitating a notable expansion of Norwegian industry in the last decade

 Nyttig å se at det går an å regne på noe  Betydelige metodiske utfordringer  Vil nok legge inn mere ressurser dersom lignende analyser skal gjøres i framtiden  Mange samfunnseffekter kan ikke måles  “Folk” liker eksakte svar  Den kvantitative analysen skapte en viss blest om evalueringen Litt eksakt vitenskap (altså etterpåklokskap…)