Workshop kursansvarlige 17.11.09 Verktøykasse for underveisvurdering og tilbakemelding Torunn Gjelsvik, Senter for e-læring Anne Swanberg, Senter for e-læring Workshop kursansvarlige 17.11.09

Senter for e-læring (SEL) Pedagogisk kompetansesenter for hele BI Spesialfelt: bruk av IKT i undervisningen Aktuelt prosjekt: Nytt LMS Målgruppe: BIs faglige i undervisning Tips Blackboard/It’s Learning: www.bi.no/foreleser Workshop kursansvarlige 17.11.09

ASSESS 2010 Metodeutvikling og verktøyanvendelse for undervisning og læring med underveisvurdering i høyere utdanning - i mellomstore og store klasser - Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Utfordringer Den fagansattes utfordring: Store klasser – problem med tilbakemelding Mye jobb med tilbakemelding Høyskolenes utfordring: Kursdesign-strategier og prosesser Store klasser = kostnadsbesparende…. Prosessvurdering = kostnadsdrivende…. Eller? Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Noen løsninger Ny LMS - bruk av læringsplattform som viktigste ”logistikkleverandør” Innføring av arbeidskrav (obligatoriske aktiviteter underveis, uten summativ vurdering) Aktivisering av studenter underveis Mer automatisering og effektivisering Aktivisering kan gjøres på flere måter: se, høre, gjøre, vurdere, skape…. Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Prosjektide Tilby faglige ansatte verktøy for planlegging og gjennomføring av undervisning med prosessvurdering Prosjektmål: En utprøvd metode for planlegging, gjennomføring og evaluering av undervisning der prosessvurdering inngår. Utvikling av en verktøykasse til hjelp planlegging og gjennomføring. For BI: Hjelp til å implementere Bachelor-reformen Workshop kursansvarlige 17.11.09

tid FASE 1 Feb-Jun 09 FASE 2 Jun 09-Jun 10 FASE 3 Jul-des 10 Hovedprosjekt Utvikling metode HiST, HiNT,BI Prosjektledelse: BI Delprosjekt/Pilot Verktøyanvendelse HiST HiNT tid Forts. hovedprosjekt Evaluering og avslutning HiST, HiNT, BI BI FASE 1 Feb-Jun 09 FASE 2 Jun 09-Jun 10 FASE 3 Jul-des 10 Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Academic Susan Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Non-Academic Robert Workshop kursansvarlige 17.11.09

Hvorfor mer tilbakemelding? Foruten: 1) Overordnede føringer Bologna-prosessen (Europa) Kvalitetsreformen (Norge) Opprettelsen av NOKUT 2) Interne prosesser BI Bachelor- og masterreformene Så øker studentmassen og vi får flere “Roberter” Hva skal vi huske på når vi planlegger undervisningsaktiviteter Workshop kursansvarlige 17.11.09

Oppgaveverktøy – automatisert tilbakemelding Verktøy for produksjon av digitale tester og spørsmålsbaser Mange ulike oppgavetyper, flest med automatisert tilbakemelding Eks. multiple choice, multiple answer, true/false, matching, ordering Mulig å teste på flere nivåer? (ref. Blooms) Oppnår vi for eksempel både kunnskapsmål og ferdighetsmål, ref. kursbeskrivelsen? Workshop kursansvarlige 17.11.09

Fordeler med automatiserte tester Motiverer og aktiviserer studentene Gir umiddelbar tilbakemelding og resultat Tidsbesparende for lærer mht. retting Gjenbrukbart læringsinnhold Kan brukes diagnostiserende, gi en pekepinn for den videre læringsprosessen 100 % objektiv vurdering Effektiv repetisjon av pensum Mulighet for tilpasset/utdypende tilbakemelding for rette og gale svar Tilbakemelding er også tilbakemelding til læreren Workshop kursansvarlige 17.11.09

Ulemper/farer ved bruk av flervalgstester Kan påvirke læringen i instrumentell retning Kan virke begrensende, særlig hvis multiple choice er eneste oppgavetype Krevende for lærer å utvikle, må ha gode spørsmål og svaralternativer (både riktige og gale svar) Tester kun faktakunnskap??? Workshop kursansvarlige 17.11.09

Hvor langt opp i pyramiden kan vi komme? Blooms taxonomi – huske, forstå, anvende, analysere, vurdere, skape/syntetisere Workshop kursansvarlige 17.11.09

Eksempel 1 Automatiserte tester som arbeidskrav i BØK 3411

Workshop kursansvarlige 17.11.09 Kursbeskrivelse BØK 3411 Kunnskapsmål: Etter endt kurs skal studentene kunne forklare sentrale begreper og redegjøre for viktige verktøy som brukes i analyser av bedriftsøkonomiske problemstillinger (med verktøy menes sammenhenger, metoder, teknikker, modeller, teorier o.l. som brukes innen fagområdet). Ferdighetsmål: Etter endt kurs skal studentene kunne (a) anvende tilegnede kunnskaper (dvs. begreper og verktøy) i analyser og diskusjoner av bedriftsøkonomiske problemstillinger, (b) skille mellom relevant og irrelevant informasjon, og (c) gi skriftlige svar på spørsmål som gjør at leserne forstår anvendt fremgangsmåte og svaret som fremkommer (herunder kontrollere de kilder som er anvendt). Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Arbeidskrav i kurset Minst 5 av 8 obligatoriske innleveringer må være godkjent Innleveringene består av 10 spørsmål, hvorav minst 2 må være riktig 3 forsøk per test Studentene får umiddelbar tilbakemelding på poengscore, mens hjelp til oppgaveløsning skjer i klasserom Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Eksempel I denne oppgaven skal du se bort fra merverdiavgift. En bedrift benytter lineære avskrivninger for sine maskiner. Avskrivningssatsen er 20%. Maskinene ble kjøpt inn ved inngangen til året 20x1 for kr 2 200 000. Årlige avskrivninger ble fastsatt til kr 400 000. Ved utløpet av perioden for antatt levetid ble maskinen solgt for kr 175 000 mer enn dens bokførte verdi. Hva var salgssummen? Oppgi salgssummen i hele kroner uten tusenskiller. Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Resultater fra BØK3411 H2009 Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Erfaringer Høy deltakelse – ”alle er med” Få ”ikke godkjent” 80/20 – snudd om – studentene er bedre forberedt til undervisning Bieffekt: studenten tar tester flere ganger for å lære mer ”Smertefri” avvikling Lite administrativt arbeid Vellykket bruk av nettet som supplement til forelesning Workshop kursansvarlige 17.11.09

Vite mer om flervalgstester? Munkvold mfl.: Nettbasert undervisning. Kristiansand, Høyskoleforlaget 2008 Sirnes, S.-M.: Flervalgsoppgaver – konstruksjon og analyse. Bergen, Fagbokforlaget 2005 Svein Lie: Om testteori og flervalgsoppgaver. Presentasjon på Inspirasjonsdag for forelesere ved Handelshøyskolen BI, 2008 (tilgjengelig fra www.inspirasjon.binettstudier.no Workshop kursansvarlige 17.11.09

Metode og verktøykasse

Workshop kursansvarlige 17.11.09 Pedagogisk rammeverk Hva gjør vi for å hjelpe Robert? Utvikle undervisning etter Bigg’s “constructive alignment” Kursbeskrivelsene legger premissene Utvikle tilbakemeldingsaktiviteter Teori underbygger at tilbakemelding er sentralt i læringsløpet Aktivitet fremmer læring (Dewey) Se - høre –gjøre (studentene produserer) Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Constructive alignment eller Samstemt undervisning Læringsmål Eksamen Aktivitet 1-N (Biggs & Tang, 2007) Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Læringsmål Eksamen Aktivitet 1 Aktivitet 1 Aktivitet 2 Aktivitet 3 Aktivitet 4 Aktivitet 5 Aktivitet 6 Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Aktivitet 1 Sjekk mot læringsmål og eksamen Sjekk mot øvrige kursaktiviteter Aktivitet 1 Valg av første kursaktivitet Hva skal denne bestå i? Hva er hensikten med aktiviteten? Hvordan støtter den opp om læringsmålet? Hvordan støtter den opp om eksamen? Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 På nettet Interaktive tester Automatisert tilbakemelding (regning – begrepsinnlæring) Mapper Arbeidsmapper Vurderingsmapper Medstudentvurdering Høy grad av automatisering Innleveringer Diskusjongrupper (og blogg) Simuleringer Samskriving (wiki ) I klasserommet Tilbakemelding i plenum Gjennomgang av løsningsforslag (utregninger , eks.oppg. drøftinger) Tilbakemelding via medstudenter Grupper Summegrupper One-minute-paper Egen Refleksjon Tilbakemelding på undervisning Grunnlag for plenumstilbakemelding Casepresentasjoner Kombinasjoner Videosnutter m/MC eller refleksjonsoppgave – diskusjon i plenmum Interaktiv oppgave (digital ressurs) som forberedelse til forelesning Interaktiv oppgave som kontroll av kunnskaper fra forelesning Polling før, underveis og etter forelesning Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Eksempel Feedback memo (Filene, 2005, p15) The main point of today’s class is ___________________________ What interested me most is What I don’t understand is Name (optional)______________ Workshop kursansvarlige 17.11.09

Eksempel 2 Planlegging av ORG3401 etter Bigg’s metode

Workshop kursansvarlige 17.11.09 Læringsmål Kunnskapsmål Studentene skal tilegne seg grunnleggende psykologiske, ledelsesfaglige og organisasjonsteoretiske kunnskaper som er relevante for arbeidslivet og for videre studier i andre organisasjons- og ledelsesfag.   Ferdighetsmål Studentene skal kunne redegjøre for sentrale begreper, prosesser og teorier og hvordan disse relateres til effektivitet i organisasjoner. Holdningsmål Studentene skal utvikle forståelse for at psykologiske egenskaper og prosesser og organisasjonsmessige betingelser har stor betydning for optimal fungering i arbeidslivet. Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Tema 7 Læring – L.O. definere begrepet læring kunnskap om = nivå 1 gjøre rede for ulike former for læring drøfte forholdet mellom erfaring og læring forstå = nivå 2 forklare hva som menes med “den lærende organisasjon” Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Knowledge arrange define duplicate know label list match memorize name order quote recognize recall repeat reproduce restate retain Comprehension characterize classify complete depict describe discuss establish explain express identify illustrate locate recognize report relate review sort translate Application administer apply calculate choose compute conduct demonstrate dramatize . Analysis Synthesis Evaluation Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Aktivitet 1 – Tema 7 Temaoppgave (eksamensrettet) Rettes av medstudent etter kriterier Plenumsgjennomgang Sjekk mot læringsmål og eksamen Sjekk mot øvrige kursaktiviteter Aktivitet 1 Valg av første kursaktivitet Hva skal denne bestå i? Hva er hensikten med aktiviteten? Hvordan støtter den opp om læringsmålet? Hvordan støtter den opp om eksamen? Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Aktivitet 2 – Tema 7 Aktivitet 2 Video om ”operant betingingslæring” Refleksjonsoppgave Ferdig løsningsforslag på nettet Sjekk mot læringsmål og eksamen Sjekk mot øvrige kursaktiviteter Aktivitet 2 Valg av første kursaktivitet Hva skal denne bestå i? Hva er hensikten med aktiviteten? Hvordan støtter den opp om læringsmålet? Hvordan støtter den opp om eksamen? Workshop kursansvarlige 17.11.09

Workshop kursansvarlige 17.11.09 Aktivitet 3 – Tema 7 Flervalgsoppgave Automatisert tilbakemlding på nettet Sjekk mot læringsmål og eksamen Sjekk mot øvrige kursaktiviteter Aktivitet 3 Valg av første kursaktivitet Hva skal denne bestå i? Hva er hensikten med aktiviteten? Hvordan støtter den opp om læringsmålet? Hvordan støtter den opp om eksamen? Workshop kursansvarlige 17.11.09

Studentdreven “kunnskapsproduksjon” Utnytt studentene og utnytt mediene: Studenter lager flervalgsoppgaver Fin måte å bygge opp oppgave-base Krever kvalitetssikring fra lærer “YouTube”-produksjoner Eks demonstrer begrepet “Sosial fasilitering” (dvs å få alle i gruppen til å jobbe) Workshop kursansvarlige 17.11.09