PROSJEKTSELEKSJON OG RESULTATMÅLING NORGES FORSKNINGSRÅD INDUSTRI OG ENERGI Presentasjon på EVA IX 11. – 12- sept. -03

Innhold Prosjektportefølje i endring Seleksjonssystemet Beslutning om støtte/ikke støtte Resultatmåling

Prosjektportefølje i endring

Problemstillinger i seleksjon og resultatmåling Hvordan gjennomføres Provisvurderingene og hvordan vektlegges ulike kjennetegn og aspekter i fastsettingen av prosjektenes totalvurdering Hvilken betydning har totalvurderingene for beslutningene om støtte/ikke støtte og hvilke andre forhold har evt. betydning for beslutningene Er det svakheter ved Provis-systemet som bør rettes opp for å gjøre seleksjonen sikrere og mer transparent Gir seleksjonssystemet optimal utnyttelse av tilgjengelige ressurser Er det mulig å etterspore sammenhenger mellom prosjektseleksjon og resultater

Prosjektseleksjonen skjer i to trinn 1.Provisvurderingen = prosjektvurderingen, rangering av prosjekter etter godhet. 2.Beslutning om støtte/ikke støtte

Provis aspekter og behandlingsformer i IE

Implisitt vekting for utvalgte aspekter

Prosjektvurdering - oppsummering De implisitte vektene viser hvilken vekt saksbehandlere har lagt på aspektene i fastsetting av totalkarakter. Er vektingen i samsvar med ønsket vektlegging ? I fastsettingen av totalkarakter har aspektene en forklaringskraft på nær 70%, mens andre ikke spesifiserte forhold forklarer resten. Vi kan konstatere at det er kollinearitet i systemet. Dette betyr at flere aspekter eller bakenforliggende kjennetegn måler det samme. Dette kan avdekkes og evt. fjernes i en fornyelse av systemet.

Støtte / ikke støtte ?

Seleksjonssystemet - konklusjoner Prosjekter med høyest totalkarakter i Provis får alltid støtte og de med laveste karakter får aldri støtte. Selv svært gode prosjekter (høy totalkarakter) kan få avslag mens dårligere prosjekter (lav totalkarakter) får støtte. Provisvurderingen forklarer bare nær halvparten av beslutningene om støtte/ikke støtte. Forhold som påvirker beslutningene kan være budsjettrestriksjoner på programnivå, søkerspesifikke forhold mv. Budsjettrestriksjonen på sektor/programnivå kan føre til suboptimal bruk av ressurser sett i forhold til kvaliteten i det totale tilfanget av søknader.

Resultatmål - trendutvikling

Addisjonalitet

FoU-investeringer og NNV

Forventninger, bortfall og resultater

Resultatmåling - oppsummeringer Det er ikke mulig å konstatere at innføringen av seleksjonssystemet har ført til varige endringer i bedriftenes forventningsnivå til prosjektene samlet sett. Bedriftene har størst forventninger til kompetanseutvikling som også er mest vellykket i prosjektene % av prosjektene ville ikke blitt gjennomført uten støtte fra Forskningsrådet Bedriftene oppgir høyt antall innovasjoner (6-8 pr prosjekt) og en stor andel (25-38%) kommer fra spin-off til hovedprosjektene som er støttet. Bedriftene har overdrevne forventninger ex ante til prosjektenes økonomiske potensial. 6-8 år etter prosjektstart rapporterer bedriftene faktisk økonomisk resultat tilsvarende ca 20% av opprinnelig forventet resultat.

Sammenheng mellom prosjektseleksjon og resultater Undersøkelser gjennomført i 2003 av prosjekter avsluttet i 1999 er første langsiktige resultatmåling av prosjekter med Provis-vurdering. Antall respondenter er derfor foreløpig noe spinkelt til å konkludere på faktiske sammenhenger Det er ikke gjennomført undersøkelser av avslåtte prosjekter (det kontrakfaktiske). Analyser av nettopp avsluttede prosjekter viser signifikante sammenhenger mellom prosjektets betydning for bedriftenes utvikling og aspektet ’forskningsinnhold’ vurdert i Provis. Analyser av langsiktige resultater (empirisk) og Provis viser at det er sammenheng mellom bedriftenes oppfatning om prosjektets betydning for ’overlevelse’ og ’konkurranseevne’ og totalvurderingen i Provis. Dette viser at seleksjonssystemet kan være viktig for seleksjon av ”gode” prosjekter for bedriftene. Videre oppfølging av denne typen undersøkelser bør prioriteres for ytterligere dokumentasjon for utvikling og læring i prosjektseleksjon.

Sammenheng mellom Provis og resultatmålinger