Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

Et forslag til en alternativ framgangsmåte for å vurdere karakterbruken i universitets- og høgskolesektoren Innlegg på seminar Universitets- og høgskolerådet.

Liknende presentasjoner


Presentasjon om: "Et forslag til en alternativ framgangsmåte for å vurdere karakterbruken i universitets- og høgskolesektoren Innlegg på seminar Universitets- og høgskolerådet."— Utskrift av presentasjonen:

1 Et forslag til en alternativ framgangsmåte for å vurdere karakterbruken i universitets- og høgskolesektoren Innlegg på seminar Universitets- og høgskolerådet 24. januar 2007 Felix konferansesenter, Oslo TORFINN TORP

2 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 2 Skisse ● Eksisterende situasjon – Bakgrunn ●Svært ressurskrevende opplegg ●Vanskelig å besvare ønskede problemstillinger ●En alternativ framgangsmåte – Forslag ●Forsøk på reduksjon av ressurser og omfang ●Lettere å besvare noen aktuelle problemstillinger

3 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 3 Eksisterende situasjon - Bakgrunn Mellom 50 og 60 nasjonale karakterpaneler/referansepaneler/fagråd, hvert med flere medlemmer. Alle skal rapportere årlig om bruken av bokstavkarakterer innen sine fagområder. Dette er et ledd i en nasjonal koordinering som har som formål å utvikle en felles forståelse for bruk av bokstavkarakterskalaen på tvers av fag, fagnivå og institusjonstype. Universitets- og høgskolerådets (UHRs) utdanningsutvalg oppnevnte høsten 2005 en arbeidsgruppe (analysegruppe) som skulle foreta en samlet analyse av rapportene fra de nasjonale karakterpanelene. Rapporteringen viser at det er et omfattende arbeid å både samle statistikker og å foreta vurderinger av besvarelser og karakterbruk.

4 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 4 De fleste karakterpanelene (av de som har rapportert) har begrenset seg til å samle og vurdere tabeller over karakterfordelingen. Tabellene kan indikere eventuelle ulikheter, eller likheter, i karakterbruken. De kan ikke uten videre gi svar på om, og hvor, det er faktiske forskjeller og vil ikke alene kunne utvikle en felles forståelse for karakterbruken. Analysegruppen anbefaler derfor at det legges mer vekt på felles vurderinger av besvarelser etc. på tvers av (fag, nivå og) institusjoner.

5 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 5 ABCDEFTotal HF- UiO23,147,624,93,10,90,4229 HF- UiB30,435,723,97,01,31,7230 HF-NTNU31,833,622,78,22,70,9110 MN-UiO20,832,823,010,55,27,81058 MN-UiB14,141,432,57,93,70,5191 NT-NTNU*38,544,615,40,80,00,8130 SV-UiO13,134,732,711,63,05,0199 SV-UiB26,836,626,84,93,31,6123 SV-NTNU17,747,528,23,32,80,6181 Karakterfordeling (prosent) ved noen fakulteter i 2005. Hovedfag. *) fakultet for naturvitenskap og teknologi ABCDEFTotal UiO12,126,830,715,76,58,2 67810 UiB11,228,430,315,66,67,946775 UiT11,025,129,216,48,59,8 14565 NTNU13,723,623,916,112,410,380459 UiS10,624,627,716,98,012,025100 UMB11,428,829,615,47,37,613823 Total12,225,928,016,08,79,3248 532 Karakterfordeling i 2005 (prosent) ved universitetene Eksempler på karakterfordelingstabeller hentet fra database for høgre utdanning (DBH)

6 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 6 I brev fra UFD datert 10.05 04 heter det blant annet: 1.Karaktersettingen skal ta utgangspunkt i den verbale beskrivelsen som er gitt av prestasjoner på de enkelte nivåene, der karakteren C skal gi uttrykk for en jevnt god prestasjon som er tilfredsstillende på de fleste områder og karakteren A for en fremragende prestasjon som klart utmerker seg. Den verbale beskrivelsen må forstås med referanse til anerkjente faglige standarder for det aktuelle studiet og de kunnskapsmål som er satt for det enkelte program eller emne. Kravene vil naturlig stige fra lavere til høyere studienivå. Det eksisterer således ingen forhåndsgitt fordeling av karakterer som noe eksamens- eller studiekull skal ”presses” inn i. 2.Skillet mellom bestått karakter og ikke bestått skal beskrives som absolutte krav. Kriterier for bestått karakter skal gjenspeile faglig mestring i emnet, tilpasset det aktuelle studienivå. Kravene til bestått skal ikke gjøres avhengig av endringer i studentenes forutsetninger for å gjennomføre emnet. 3.Den enkelte student skal i utgangspunktet vurderes opp mot hele skalaen, uansett nivå (bachelor/master) og seleksjonsprosess, for å skjelne gode fra mindre gode prestasjoner og rangere studentene innbyrdes. Når disse retningslinjene legges til grunn, er det departementets oppfatning at det norske karaktersystemet* vil være i tråd med ECTS-systemets** karaktersystem, slik at det generelt ikke vil være nødvendig å oversette norske karakterer til ECTS. *) Norske karakterer, et absolutt system: A (fremragende), B (meget god), C (god), D (nokså god), E (tilstrekkelig) og F (ikke bestått). **)ECTS = European Credit Transfer System [en relativ oversettelsesskala for karakterer: A (10%), B (25%), C (30%), D (25%), E (10%), FX (-), F (-)].

7 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 7 Analysegruppens (arbeidsgruppens) mandat: 1.Arbeidsgruppen skal årlig foreta en samlet analyse av rapportene fra karakterpanelene. Analysen skal inneholde statistikk over anvendelsen av karakterskalaen fra ulike fagområder og utdanninger og en analyse av følgende spørsmål: -Blir hele bokstavkarakterskalaen brukt uavhengig av fagtradisjoner, fagnivå og institusjonstype? -Har vi en felles forståelse av bruken av karakteren A? -Har vi en felles forståelse av skillet mellom E og F? -Gir karakteren C uttrykk for en jevnt god prestasjon? 2.Analysen skal være i en form som kan utgjøre basis for uttalelser fra UHR om bruk av karakterskalaen, og gi grunnlag for videre diskusjon og strategier for en best mulig anvendelse av bokstavkarakterskalaen. 3.Arbeidsgruppen skal bidra til at panelene på enklest mulig måte kan levere standardiserte rapporter om bruken av karakterer på sine fagområder. 4.Gruppen rapporterer til Utdanningsutvalget.

8 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 8 En alternativ framgangsmåte - Forslag Selv med dagens svært ressurskrevende opplegg for vurdering av karakterbruken i universitets- og høgskolesektoren er vi faktisk ikke i stand til å besvare tilfredsstillende de problemstillingene som er formulert i analysegruppens mandat (som for øvrig er praktisk talt identisk med de nasjonale karakterpanelenes mandat omkring samme sak). Hensikten med å foreslå en alternativ framgangsmåte er: ☻ Å kunne besvare problemstillingene i analysegruppens mandat. I tillegg vil framgangsmåten kunne gjøres: ☻Mindre ressurskrevende.

9 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 9 Skisse av en alternativ framgangsmåte 1.Bestem hvilke fag/emner og bachelor/master som skal undersøkes (kan varieres fra gang til gang, for hvis alt er med hver gang blir omfanget for stort). 2.Velg eksamensoppgaver (oppgavetekst), tilhørende målformuleringer og eksamensbesvarelser, på alle nivåer (A – F besvarelser). 3.Fra hver av en del institusjoner (for eksempel tre stykker) velges minst to sensorer (innen de aktuelle fag/emner). Samtlige sensorer henholdsvis bedømmer (på en enkel skala for vanskelighetsgrad og liknende) og karaktersetter de samme oppgavene og besvarelsene (innen sitt fag/emne). 4.Resultatene analyseres (ved hjelp av egnede statistiske metoder). Innen de enkelte fag/emner som er med vil de deltagende sensorene utgjøre en slags kommisjon. Overfor kommisjonen må oppgaver, målformuleringer og besvarelser anonymiseres. Det er også viktig å unngå samarbeid mellom kommisjonens medlemmer (i teorien for eksempel ved at alle gjør arbeidet på samme tid og sted). Kommisjonens medlemmer honoreres.

10 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 10 Noen kommentarer: ☻I mange fag/emner kan det være vanskelig å finne minst to sensorer fra hver deltagende institusjon. Et alternativ kan da være at fagrådet/profesjonsrådet oppnevner en nasjonal kommisjon innen de aktuelle fag/emnene. Men, med bare en sensor fra de/den deltagende institusjonen(e) kan det bli vanskelig, for ikke å si umulig, å avgjøre om en eventuell forskjell ”skyldes” sensor (individ) eller institusjon. ☻Den skisserte alternative framgangsmåten er ikke ment som noen form for ettersensurering eller kontroll av ”antatte” syndebukker. ☻For noen fag/emner vil det kunne gå lang tid mellom hver gang de er med i undersøkelsen. Kanskje bør slike fag/emner i så fall underlegges en enklere form for vurdering? ☻Konklusjonene basert på resultatene av analysen vil ikke av seg selv føre til en best mulig anvendelse av bokstavkarakterskalaen på de ulike institusjonene. Men, indirekte vil en kunne håpe og kanskje forvente at fag/emner/institusjoner som avdekkes å bruke skalaen på en dårlig/uønsket måte, på eget initiativ eller på oppfordring vil gå i seg selv for å forbedre sin karaktersetting. ☻Detaljer omkring tidsfrister, rapporteringsansvar etc. må bestemmes.

11 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 11 Statistikk grunnkurs 20 (eksempelvis) besvarelser med tilhørende målformulering og oppgave(r) velges UiBNTNUUMB S2S2 S1S1 S3S3 S4S4 S5S5 S7S7 S6S6 S8S8 1 2 20 1 2 1 2 1 2 1 2 1 2 Skisse av et eksempel på alternativ framgangsmåte for et gitt fag/emne Besvarelser Oppgaver, ofte vil disse være like for flere/alle besvarelsene Tilsvarende opplegg gjennomføres for alle aktuelle fag/emner. Fag/Emne Institusjon Sensor Besvarelser og oppgaver En antydning av arbeids- mengde for hver sensor

12 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 12 I prinsippet behøver ikke målformuleringer, eksamensoppgaver og eksamensbesvarelser stamme fra et reelt fag/emne. For å kunne besvare analysegruppens mandat ved hjelp av den alternative framgangsmåten kan i teorien både målformuleringer, eksamensoppgaver og eksamensbesvarelser produseres ene og alene med det for øye å inngå i den presenterte framgangsmåten. Er det ønskelig å undersøke en situasjon der (for eksempel) to sensorer i fellesskap karaktersetter en besvarelse, kan dette også gjøre enkelt i den alternative framgangsmåten. Rett og slett ved å oppfatte og behandle begrepet sensor som en gruppe bestående av to personer som sammen diskuterer seg fram til en karakter.

13 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 13 Litt om analysen av resultatene: ☻Ulike metoder kan være aktuelle, avhengig av problemstilling. ☻Flere forskjeller i bruk av karakterskalaen kan være av interesse å studere (jfr. analysegruppens mandat), for eksempel: ●Bruk av karakteren A. ●Bruk av karakteren C. ●Skillet mellom karakterene E og F. ●Fordelingen av karakterene over hele karakterskalaen. ☻Også oppgavene kan bedømmes (for eksempel på en enkel skala for vanskelighetsgrad) og karaktersettingen av besvarelsene kan sees i sammenheng med dette. ☻Den statistiske analysen kan eventuelt standardiseres og programmeres. ☻Resultatene fra den statistiske dataanalysen kan beskrives, kommenteres og oppsummeres i en enkel og kort rapport.

14 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 14 Noen kommentarer: ☻Å sammenligne ulike fag/emners bruk av karakterskalaen er vanskeligere, blant annet fordi verken sensorer og ofte heller ikke aktuelle institusjoner er de samme på tvers av fag/emne-grensene. Dessuten vil studentenes forutsetninger etc. ofte være mer ulike mellom studier enn innen studier. Det betyr at ulike faktorer som alle kan påvirke karaktersettingen lett kan blandes sammen og at riktige konklusjoner blir vanskelig å trekke. ☻Et eventuelt ønske om å sammenligne norske institusjoners karaktersetting med en eller flere utenlandske institusjoner er lett å få til; rett og slett ved å la de utenlandske inngå på lik linje med de norske i den skisserte alternative framgangsmåten.

15 Torfinn Torp - Universitetet for miljø- og biovitenskap www.umb.no Alternativ framgangsmåte for å vurdere karakterbruken i UH-sektoren 15 Eksamens- besvarelse UMBUiBNTNU Sensor 1Sensor 2Sensor 3Sensor 4Sensor 5Sensor 6Sensor 7Sensor 8 1BBCBACBC 2FEEEEEFF 3CCBACBBB 4CDDDDCED 5AABAAABA 6CBDCBDDC 7EDDCDCCE 8DCCBADDB 9BBAABCBB 10CCBBDCCD 11DEFCDDEE 12BCCBACDC 13CDCCDBCB 14EFFEEEFF 15EFDDEFFD 16BBCABCBC 17FDEEDFEE 18BAAABCBB 19ABCAABAB 20DCDBCDDC Et eksempel på (tenkte) data fra karaktersetting av oppgaver i et fag/emne. Slike datamaterialer kan analyseres ved hjelp av egnede statistiske metoder.


Laste ned ppt "Et forslag til en alternativ framgangsmåte for å vurdere karakterbruken i universitets- og høgskolesektoren Innlegg på seminar Universitets- og høgskolerådet."

Liknende presentasjoner


Annonser fra Google