Www.nifustep.no NIFU STEP Studies in Innovation, Research and Education Bibliometri for Fagerberg-utvalget Trondheim 30. august 2010 Gunnar Sivertsen Norwegian.

Presentasjon om: "Www.nifustep.no NIFU STEP Studies in Innovation, Research and Education Bibliometri for Fagerberg-utvalget Trondheim 30. august 2010 Gunnar Sivertsen Norwegian."— Utskrift av presentasjonen:

1 www.nifustep.no NIFU STEP Studies in Innovation, Research and Education Bibliometri for Fagerberg-utvalget Trondheim 30. august 2010 Gunnar Sivertsen Norwegian Institute for Studies in Innovation, Research, and Education

2 Oppdraget Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? Kommentarer til notatet om Måling av forskning

3 Disposisjonen 1.Bibliometriens relevans for mandatet 2.Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? 3.Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? 4.Oppsummering

4 Bibliometriens relevans for mandatet Måling av samfunnseffekter og samfunnsøkonomisk avkastning eller nytte?  Nei Måling av kvalitet?  Nei, ikke av forskningsbidragenes kvalitet  Ja, kan gi en del av indikasjonene på om forskningssystemet er velfungerende og underbygger forskningskvalitet Måling av effektivitet (internvitenskapelig aktivitet og resultater i forhold til ressurstilgang)  Ja, og her kan utvalget bidra til å forbedre praksis i Norge

5 Disposisjonen 1.Bibliometriens relevans for mandatet 2.Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? Oppsummering

6 ”The dual funding system” (A simplified model excluding international sources, etc.) Government Direct grants Historical, Political Strategic Performance based Higher Education Institutions Research Councils Projects and Programmes Competition Research Evaluation

7 ”The dual funding system” (A simplified model excluding international sources, etc.) Government Direct grants Historical, Political Strategic Performance based Higher Education Institutions Research Councils Projects and Programmes Competition Research Evaluation

8 Motivation in Norway: The need for more emphasis on research in the overall funding model for the Higher Education Sector Budget for HES Basic: 60%Education: 25%Research: 15% StrategicPerformance based Scholarly publications Dissertations External funding Since 2006: “Publication points” “Study points” since 2002

9 The model in Norway Panel evaluation, rankings External funding  Peer reviewed  Contract research, etc. Dissertations Metric indicators  Publication output  Citations  Patents Level of analysis:  Individuals  Groups  Programmes  Departments  Institutions  Countries

10 The standard (so far) database for bibliometric studies

11 Another starting point: Institutional information systems

12 Another challenge: Sociologisk Forskning is indexed by ISI, but Statsvetenskaplig tidsskrift is not

13 Coverage of all scientific publications in Norway’s HE sector Based on 33.000 (fractionalized) publications from 2005-2008

14 Publication types in selected social sciences

15 Foreign language and ISI coverage in selected social sciences

16 Principles behind the use of institutional data on a national level Completeness: All scholarly publications should be included Simplicity: All scholars can understand the measurement and its effects Transparency: Every institution can see and check all other institutions’ data. The national database is also online and open to society at large. Participation: The indicator is developed and maintained in collaboration between the institutions and the authorities Multiple use of the data: CV’s, applications, evaluations, annual reports, internal administration, bibliography for Open Archives, links to full text, etc.

17 Models for performance-based funding of research institutions Panel evaluation, ranking Bibliometric models All disciplines; all publications Selected disciplines; Citation databases N GB B DK S SF AUS

18 Disposisjonen 1.Bibliometriens relevans for mandatet 2.Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? Oppsummering

19 Bruk i mål og resultatstyring? Indikatorrapporter som eksempel på et datagrunnlag som kan videreutvikles

20 Den norske indikatorrapporten: Artikler per capita

21 Den nederlandske indikatorrapporten: ISI-artikler i forhold til folketall og antall forskere

22 Bibliometric Research Performance Indicators for the Nordic Countries (Nordforsk, 2010)

23

24 Oppskrift på Scoreboard Ta 1 stk. Indikatorrapport, gjerne en fersk norsk en Se på andre lands rapporter: Har de noe som den norske mangler, og som dere savner? Savner dere noe i alle rapporter? Kritisér konkret og konstruktivt den norske rapporten på dette grunnlaget Lag en ønskeliste over hva som er viktig å måle (ikke et indikatorsett) og sett inn i ovnen til langsteking (fordi indikatorutvikling er en krevende FoU-prosess som blant annet har godt av internasjonalt samarbeid)

25

26

27 Disposisjonen 1.Bibliometriens relevans for mandatet 2.Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? Oppsummering

28 Økt kvalitet? Relative Citation Index (ISI 2000-2007) Source: National Science Indicators (NSI), Thomson Reuters

29

30

31 Shares of reference lists in articles in ISI that cite other articles in ISI

32 Mean citation rates (world, 5 year citation window)

33 Andel av artiklene som er med blant de 5 prosent mest siterte

34 Effektivitet? Relative Citation Index (ISI 2000-2007) Source: National Science Indicators (NSI), Thomson Reuters

35 Effektivitet? Shares in the world’s scientific output (ISI 2000-2009) Source: National Science Indicators (NSI), Thomson Reuters

36 Økt kvalitet? Økt effektivitet? Publication points in Norway’s Higher Education Sector 2004-2009

37 Eller ingen virkning? Fra diskusjonsnotatet ”Et velfungerende forskningssystem” Formålet er å gi sektoren insentiver til å øke omfanget og kvaliteten av forskning. Men som Gabrielsen mfl. (2007) påpeker, er ”insentiver som ikke føres ned til dem som faktisk tar beslutningene et slag i luften”. Siden forskningens omfang og kvalitet i hovedsak styres av forskernes egne handlinger, følger det at slike insentiver, for å være effektive, må ha følbare konsekvenser for de forskere/forskergrupper som bidrar til resultatene. Selv om praksis varierer (Frølich, 2007), tyder mye på at dette ofte ikke er tilfelle i nevneverdig utstrekning. Av dette følger at effektene av disse insentivene sannsynligvis vil være nokså begrensete.

38 Poster in the toilets of The Centre of Excellence in linguistics at the University of Tromsø

39

40 Internasjonalisering? ”Norske” ISI-artikler med og uten internasjonalt samarbeid 1990-2009

41 Andel internasjonalt samarbeid har sammenheng med landets størrelse (i vitenskapelig produksjon) Terttu Luukkonen, Olle Persson, Gunnar Sivertsen: Understanding Patterns of International Scientific Collaboration. Science, Technology & Human Values 17 (1992) 1, 101-126. Reprinted in: Helga Nowotny, Klaus Taschwer (eds.), The Sociology of the Sciences, Vol. I, The International Library of Critical Writings in Sociology, An Elgar Reference Library. Cheltenhem, UK: Edward Elgar Publishing Limited, 1996, 194-219.

42 Hvor er samarbeidet? Hva betyr nasjonsgrenser eller statsborgerskap? (Denne statistikken er aggregert fra enkeltartikler. Vi vet hvilke personer (og institusjoner) som samarbeider.)

43 Mangfold? Fornyelse? Rekruttering? Samfunnseffekter? The integration of four databases in Norway WoS Publications and Citations Complete scholarly publication data (The Norwegian Current Research Information System) The Norwegian Registry of Researchers R&D statistics down to department level

44 Disposisjonen 1.Bibliometriens relevans for mandatet 2.Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? 3.Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? 4.Oppsummering

45 Oppsummering Bibliometri kan bidra til indikatorer for forskningssystemets interne effektivitet (publisering, sitering) Bibliometri kan dessuten bidra til å beskrive andre dimensjoner og utviklingstendenser (eksempel: internasjonalisering) Kan være uhensiktsmessig å redusere indikatorene til en eller noen få Det må tas hensyn til at (det internasjonale) datagrunnlaget er faglig skjevt Avanserte indikatorer (med felt-normalisering) er nødvendig i forbindelse med siteringer