Studiebarometeret – bruk og videreutvikling Stein Erik Lid NOKUT Nasjonalt studieveilederseminar 2. Oktober 2014 - UiT

Hva er Studiebarometeret? Bruk av Studiebarometeret Studiesøkere Institusjoner og studenter Myndigheter Tilbakemeldinger og innspill fra sektoren Reliabilitet og validitet Videreutvikling 2014 2015…

Hvorfor Studiebarometeret? «Excellence», «diversity», «transperancy», «accountability» Oppdrag fra KD Nasjonal studentundersøkelse om opplevd studiekvalitet Offentliggjøring av resultater Målgrupper Studiesøkere Institusjoner Myndigheter Andre 27.11.2018

Den nasjonale spørreundersøkelsen Sendt ut til 2. og 5. års studenter på bachelor og master programmer Spørsmål om opplevd kvalitet på programnivå Tema Tilfredshet Læringsmiljø Medvirkning Engasjement Yrkesrelevans Undervisning Eksamen Læringsutbytte Helhetsvurdering Motivasjon/innsats Bakgrunn for valg av studieprogram Studieinnsats med mer… 27.11.2018

Studiebarometeret 2013 55’000 mottagere på 1600 studieprogram ved 58 institusjoner 17’600 svar (32 %) Nedre terskelverdier for resultatvisning Studiebarometeret.no viser resultater for 40 % av programmene Inkluderer 70 % av studentene 27.11.2018

Bruk av Studiebarometeret http://www.studiebarometeret.no/ Totalt (mars-september): Brukere: 16 183 Side- visninger: 74 286 Vi vet egentlig ikke hvor mange studiesøkere som har vært inne Studiebarometeret er underbrukt!!! 27.11.2018

Institusjoner og studenters bruk av Studiebarometeret Informasjon om studenters opplevde kvalitet på programnivå Nasjonalt sammenligningsgrunnlag Enkeltprogram med utdanningsgruppe Tilsvarende enkeltprogrammer Fagtradisjon og kultur har «alt» å si Rådata Begrensninger: Spørreskjemaundersøkelser fanger ikke opp alt Datakvalitet Indikasjoner bør følges opp med lokale «dypdykk» 27.11.2018

Myndighetenes bruk av Studiebarometeret NOKUT Sammenstillinger og analyser (ligger på studiebarometeret.no) Grunnlagsdata i NOKUTs tilsyn KD Politisk diskusjon/oppmerksomhet Politikkutforming (for eksempel Strukturmeldinga) Styringsdialog? 27.11.2018

Tilbakemeldinger og innspill fra sektoren Ros Flertallet av institusjoner har vært positive Bidrar til kvalitetssikring og utvikling Data Sammenligning av programmer Offentliggjøring framtvinger reaksjon Mange institusjoner bytter ut egne undersøkelser fra 2014 Ris Studenttilfredshet ufullstendig mål på studiekvalitet Evalueringstrøtthet For svak svarinngang på programnivå Dårlige spørsmål Utviklingsforslag Spørreskjema Offentliggjøre flere resultater og deskriptiv statistikk på nettportalen Historikk og utvidet mulighet for sammenligning 27.11.2018

Validitet – får vi svar på det vi ønsker å vite? «Hva vet studentene egentlig om studiekvalitet?» Forstår studentene spørsmålsformuleringene? Er spørsmålsformuleringene relevante? Spørreskjema basert på Andre undersøkelser Ekspert gruppe Kvalitative tester Pilotundersøkelse Intervjuer Våre analyser indikerer med enkelte unntak at dataene er valide (tilgjengelig via studiebarometeret.no) Det er fullt mulig å være fornøyd med dårlig kvalitet og misfornøyd med høy kvalitet. Spørreskjemaet er identisk for alle programtyper, enkelte spørsmål vil nødvendigvis ikke oppfattes som like relevante av alle. Unntak: -omfang -tidsbruk (underrapportering av praksis) 27.11.2018

Reliabilitet – er resultatene representative? Utfordringer Lav svarprosent og få svarende Mange små programmer (45 % av programmene ≤ 20 mottagere) Frafallsanalyse Kvinner overrepresentert blant de svarende Kvinner noe mer positive enn menn Alder, nasjonalitet, opptaksgrunnlag etc. har ubetydelig effekt I sum: de svarende er noe mer positive enn gjennomsnittet Statistikk Hvor usikre er gjennomsnittsverdiene sammenlignet med det sanne gjennomsnittet? Svarandel og antall svarende Spredning, standardavvik, konfidensintervaller (analyser tilgjengelige på studiebarometeret.no) 27.11.2018

Konfidensintervaller - fagområdenivå 27.11.2018

Konfidensintervaller - programnivå 27.11.2018

Videreutvikling 2014 Datakvalitet Spørreskjema Studiebarometeret.no Øke svarprosenten!!! Slå sammen data for to år for programmer med lav n Heve krav til svarprosent (20 %) Spørreskjema Fjernet/omformulert spørsmål som ikke ga valide data Lagt til et eget batteri om praksis (rutes) Lagt til normative spørsmål om studentenes motivasjon og innsats Studiebarometeret.no Engelsk, nynorsk, bokmål versjon Historikk Ny resultatside med deskriptiv statistikk Vurderes: Offentliggjøre mer data (relevant for lærere) 27.11.2018

Historikk 27.11.2018

Deskriptiv statistikk 27.11.2018

Videreutvikling – 2015… NOKUT oppretter arbeidsgruppe i samarbeid med UHR Utvikling av spørreskjema - kontinuerlig Pool av valgfrie spørsmål? Alternerende spørsmålsbatterier? I dybden på spesifikke tema sektoren trenger å vite noe om Tilgjengelighet av data? Offentliggjøring av mer data Presentasjonsform 27.11.2018