NIFU STEP Studies in Innovation, Research and Education Bibliometri for Fagerberg-utvalget Trondheim 30. august 2010 Gunnar Sivertsen Norwegian Institute for Studies in Innovation, Research, and Education

Oppdraget Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? Kommentarer til notatet om Måling av forskning

Disposisjonen 1.Bibliometriens relevans for mandatet 2.Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? 3.Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? 4.Oppsummering

Bibliometriens relevans for mandatet Måling av samfunnseffekter og samfunnsøkonomisk avkastning eller nytte?  Nei Måling av kvalitet?  Nei, ikke av forskningsbidragenes kvalitet  Ja, kan gi en del av indikasjonene på om forskningssystemet er velfungerende og underbygger forskningskvalitet Måling av effektivitet (internvitenskapelig aktivitet og resultater i forhold til ressurstilgang)  Ja, og her kan utvalget bidra til å forbedre praksis i Norge

Disposisjonen 1.Bibliometriens relevans for mandatet 2.Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? Oppsummering

”The dual funding system” (A simplified model excluding international sources, etc.) Government Direct grants Historical, Political Strategic Performance based Higher Education Institutions Research Councils Projects and Programmes Competition Research Evaluation

”The dual funding system” (A simplified model excluding international sources, etc.) Government Direct grants Historical, Political Strategic Performance based Higher Education Institutions Research Councils Projects and Programmes Competition Research Evaluation

Motivation in Norway: The need for more emphasis on research in the overall funding model for the Higher Education Sector Budget for HES Basic: 60%Education: 25%Research: 15% StrategicPerformance based Scholarly publications Dissertations External funding Since 2006: “Publication points” “Study points” since 2002

The model in Norway Panel evaluation, rankings External funding  Peer reviewed  Contract research, etc. Dissertations Metric indicators  Publication output  Citations  Patents Level of analysis:  Individuals  Groups  Programmes  Departments  Institutions  Countries

The standard (so far) database for bibliometric studies

Another starting point: Institutional information systems

Another challenge: Sociologisk Forskning is indexed by ISI, but Statsvetenskaplig tidsskrift is not

Coverage of all scientific publications in Norway’s HE sector Based on (fractionalized) publications from

Publication types in selected social sciences

Foreign language and ISI coverage in selected social sciences

Principles behind the use of institutional data on a national level Completeness: All scholarly publications should be included Simplicity: All scholars can understand the measurement and its effects Transparency: Every institution can see and check all other institutions’ data. The national database is also online and open to society at large. Participation: The indicator is developed and maintained in collaboration between the institutions and the authorities Multiple use of the data: CV’s, applications, evaluations, annual reports, internal administration, bibliography for Open Archives, links to full text, etc.

Models for performance-based funding of research institutions Panel evaluation, ranking Bibliometric models All disciplines; all publications Selected disciplines; Citation databases N GB B DK S SF AUS

Disposisjonen 1.Bibliometriens relevans for mandatet 2.Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? Oppsummering

Bruk i mål og resultatstyring? Indikatorrapporter som eksempel på et datagrunnlag som kan videreutvikles

Den norske indikatorrapporten: Artikler per capita

Den nederlandske indikatorrapporten: ISI-artikler i forhold til folketall og antall forskere

Bibliometric Research Performance Indicators for the Nordic Countries (Nordforsk, 2010)

Oppskrift på Scoreboard Ta 1 stk. Indikatorrapport, gjerne en fersk norsk en Se på andre lands rapporter: Har de noe som den norske mangler, og som dere savner? Savner dere noe i alle rapporter? Kritisér konkret og konstruktivt den norske rapporten på dette grunnlaget Lag en ønskeliste over hva som er viktig å måle (ikke et indikatorsett) og sett inn i ovnen til langsteking (fordi indikatorutvikling er en krevende FoU-prosess som blant annet har godt av internasjonalt samarbeid)

Disposisjonen 1.Bibliometriens relevans for mandatet 2.Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? Oppsummering

Økt kvalitet? Relative Citation Index (ISI ) Source: National Science Indicators (NSI), Thomson Reuters

Shares of reference lists in articles in ISI that cite other articles in ISI

Mean citation rates (world, 5 year citation window)

Andel av artiklene som er med blant de 5 prosent mest siterte

Effektivitet? Relative Citation Index (ISI ) Source: National Science Indicators (NSI), Thomson Reuters

Effektivitet? Shares in the world’s scientific output (ISI ) Source: National Science Indicators (NSI), Thomson Reuters

Økt kvalitet? Økt effektivitet? Publication points in Norway’s Higher Education Sector

Eller ingen virkning? Fra diskusjonsnotatet ”Et velfungerende forskningssystem” Formålet er å gi sektoren insentiver til å øke omfanget og kvaliteten av forskning. Men som Gabrielsen mfl. (2007) påpeker, er ”insentiver som ikke føres ned til dem som faktisk tar beslutningene et slag i luften”. Siden forskningens omfang og kvalitet i hovedsak styres av forskernes egne handlinger, følger det at slike insentiver, for å være effektive, må ha følbare konsekvenser for de forskere/forskergrupper som bidrar til resultatene. Selv om praksis varierer (Frølich, 2007), tyder mye på at dette ofte ikke er tilfelle i nevneverdig utstrekning. Av dette følger at effektene av disse insentivene sannsynligvis vil være nokså begrensete.

Poster in the toilets of The Centre of Excellence in linguistics at the University of Tromsø

Internasjonalisering? ”Norske” ISI-artikler med og uten internasjonalt samarbeid

Andel internasjonalt samarbeid har sammenheng med landets størrelse (i vitenskapelig produksjon) Terttu Luukkonen, Olle Persson, Gunnar Sivertsen: Understanding Patterns of International Scientific Collaboration. Science, Technology & Human Values 17 (1992) 1, Reprinted in: Helga Nowotny, Klaus Taschwer (eds.), The Sociology of the Sciences, Vol. I, The International Library of Critical Writings in Sociology, An Elgar Reference Library. Cheltenhem, UK: Edward Elgar Publishing Limited, 1996,

Hvor er samarbeidet? Hva betyr nasjonsgrenser eller statsborgerskap? (Denne statistikken er aggregert fra enkeltartikler. Vi vet hvilke personer (og institusjoner) som samarbeider.)

Mangfold? Fornyelse? Rekruttering? Samfunnseffekter? The integration of four databases in Norway WoS Publications and Citations Complete scholarly publication data (The Norwegian Current Research Information System) The Norwegian Registry of Researchers R&D statistics down to department level

Disposisjonen 1.Bibliometriens relevans for mandatet 2.Hvordan blir bibliometri brukt i mål- og resultatsystemer og finansieringssystemer internasjonalt? 3.Hvordan bruke bibliometri til å måle sentrale dimensjoner (kvalitet, effektivitet, internasjonalisering, evt. også mangfold, fornyelse, rekruttering, samfunnseffekter) på en måte som gjør det mulig å sammenligne internasjonalt? 4.Oppsummering

Oppsummering Bibliometri kan bidra til indikatorer for forskningssystemets interne effektivitet (publisering, sitering) Bibliometri kan dessuten bidra til å beskrive andre dimensjoner og utviklingstendenser (eksempel: internasjonalisering) Kan være uhensiktsmessig å redusere indikatorene til en eller noen få Det må tas hensyn til at (det internasjonale) datagrunnlaget er faglig skjevt Avanserte indikatorer (med felt-normalisering) er nødvendig i forbindelse med siteringer