Erfaringer med kvalitetssikring av masterstudiet i utdanningsledelse: tilsynssensorordningen som del av et helhetlig system for vurdering 30.april 2008 Eli Ottesen

En erfaringsbasert master (120 stp), deltid over 4 år 1. Forståelse og analyse. Studentene skal tilegne seg innsikt i utdanningens rolle i samfunnet, organisasjonenes interne prosesser og samspillet mellom disse. 2. Forvaltning. Studentene skal utvikle en kompetanse som hjelper dem til å forvalte menneskelige og økonomiske ressurser. 3. Utvikling. Studentene skal utvikle kompetanse i å planlegge, organisere, lede og evaluere læreprosesser og utviklingsarbeid, slik at man fremmer både en individuell og en kollektiv utvikling i organisasjonen. 4. Kritisk vurdering. Studentene skal tilegne seg et praktisk og teoretisk grunnlag for kritisk analyse og vurdering av utdanning. Pedagogikk Organisasjons-teori Økonomi Jus En erfaringsbasert master (120 stp), deltid over 4 år

Oppbygging og vurderingsformer UTLED4111 - Trinn 1: Styring og ledelse av utdanning – tre emner Individuell prøveforelesning; godkjent/ikke godkjent To interne sensorer UTLED4210 - Trinn 2: Ledelse, kvalitet og kultur for læring – tre emner Mappeeksamen Tre studiekrav + refleksjonsnotat; godkjent/ikke godkjent To interne sensorer; evt. en intern og en ekstern UTLED4070: Statistikk Individuell hjemmeoppgave i statistisk analyse; godkjent/ikke godkjent UTLED4061: Utdanningsvitenskap, forskningsstrategier og metoder Individuell hjemmeeksamen; karakterskala UTLED4081: Masteroppgaven - forberedende arbeid Godkjenning av prosjektbeskrivelse for masteroppgave – individuell eller gruppe; godkjent/ikke godkjent UTLED4090: Masteroppgave Godkjenning av masteroppgave; karakterskala En intern og en ekstern sensor

Læringsarenaene Fellessamlingene: Forelesninger og seminarvirksomhet Arbeid i basisgrupper Veiledning Individuelt arbeid med pensum og studielitteratur Digitale læringsarenaer Eksamen – studentene ønsker forelesninger Basisgruppenes oppgaveorientering Vei

Kvalitetsarbeidet Underveis og sluttevalueringer Eksamen Elektronisk undersøkelse Referansegrupper Diskusjoner i faggruppa Diskusjoner i programråd Eksamen Rapportering Diskusjoner i faggruppa; veilederforum Tilsynssensorordning Årlig rapport : observasjon av eksamen, vurdering av oppgaver, vurdering av besvarelser Legges fram for faggruppe og programråd; inngår i årlig rapport til fakultetet Utfordringer ???

Tilsynssensoroppgaven: Skal være ekstern Skal sikre god standard – sammenliknet med andre norske og utenlandske universiteter at de vurderingsformene som benyttes ved UV-fakultetet er egnet i forhold til intensjonene for emnene/emnegruppene/programmene at studentenes kunnskaper og ferdigheter blir prøvet og vurdert på en upartisk og betryggende måte Skal rapportere til fakultetet etter nærmere avtalte retningslinjer Kvalitetskontroll Studentrettighter Studieutvikling Tilsynssensors rolle i et helhetlig kvalitetssystem??

Et eksempel Sensurmøte, masteroppgaver i utdanningsledelse Fire masteroppgaver skal sensureres av to kommisjoner: Observere gjennomføring av sensurmøte; spesielt fokus på veileders rolle og bruken av vurderingskriteriene (se vedlegg) Oppsummerende møte i etterkant (ca. 13.30) Kort skriftlig rapport Gjennomføring av muntlig eksamen – masteroppgaver Observere gjennomføring av muntlig eksamen; spesielt fokus på veileders rolle og bruken av vurderingskriteriene (se vedlegg) Oppsummerende møte i etterkant (ca. 14.30) Prøveforelesning på trinn 1 i masterprogrammet Vurdere oppgavetekstene i lys av emnets innhold og prøveforelesning som eksamensform (se vedlegg og http://www.uio.no/studier/emner/uv/ils/UTLED4110/ ) Observere gjennomføring av prøveforelesning; spesielt fokus på sensors rolle (se http://utdanningsledelse.uio.no/masterstudiet/retningslinjer_forelesning.html Oppsummerende møte i etterkant (ca. 15.30)

Noen eksempler fra tilsynssensors vurdering Sensurmøtene ble gjennomført slik reglementet foreskriver det ble i noen tilfeller diskusjon om bruk av kriteriene i det tilfelle der konklusjonen endte med ”F”, var drøftingen grundig og veileder trukket med i diskusjonen en ordning der intern veileder ikke samtidig er intern sensor, men kan delta på sensurmøtet, er en forbedring i forhold til den vanlige ordningen der disse to rollene er slått sammen det var tendenser til at for mye tid ble brukt på detaljer i oppgaven, slik at det ikke ble nok tid til kriteriedrøftingen. Drøfting og konkretisering av vurderingskriterier i faggruppa Drøfting og presisering av veileders rolle i faggruppa

Noen eksempler fra tilsynssensors vurdering (forts) Muntlig eksamen, masteroppgave godt planlagt og gjennomført kandidatene fikk god orientering om hva som skulle skje under muntlige eksamen hvor godt kjente studentene kriteriegrunnlaget? arbeidsdeling mellom intern og ekstern sensor? det ble lagt vekt på å få kandidatene til å vise både bredde og dybde i sine kunnskaper og vurderinger i forhold til faglige tema som naturlig sprang ut av oppgaven Presisering av kriteriene (faggruppa) Sikre at studentene er godt kjent med kriteriene – veiledere, prosjektseminar, eksamensforberedende seminar

Noen eksempler fra tilsynssensors vurdering (forts) Muntlig eksamen, prøveforelesning presentasjonene virket overbevisende og ble gjennomført svært tilfredsstillende de to interne sensorene hvorav den ene kjente kandidatene, bidro til å dempe prestasjonsangsten gjennom denne eksamensformen får studentene vist en stor bredde av sine kunnskaper og ferdigheter Sensorene prøvde å differensiere i sine tilbakemeldinger, men på dette punktet kunne det kanskje være en fordel å utvikle kommentarene noe i en mer standardisert retning bygget på gitte kriterier. dette er en eksamensform som kan utvikles videre da den inneholder elementer som gir andre og mer relevante utfordringer til eksamenskandidatene enn mer vanlige eksamensformer det bør overveies om det bør brukes karakter I prøveforelesningen skal kandidaten drøfte og besvare den oppgaven som er gitt, forankre forelesningens emne i pensumlitteraturen, bruke eksempler fra egen praksis eller fra den utdanningspolitiske debatten, vise at han/hun har satt seg inn i relevant litteratur og evner å formidle det aktuelle fagstoffet. Selvstendig argumentasjon og egne, underbygde synspunkt vurderes positivt. Tydeligere kriterier utarbeidet Skjema for vurdering utarbeidet Trening på framlegg underveis i studiet

Utfordringene For studieutvikling: Utenfra-blikkets betydning for utvikling av studiekvalitet - et av mange innspill. Vekting og relevans? Evalueringstrøtthet? For studentenes rettigheter: En sikring av nivå – men har det betydning? I kvalitetssystemet på institusjonen: byråkratisk ordning eller redskap for kvalitet? Tid, rammer og institusjonell forankring?