BA i IT-SLP: Bedømmings- og beslutningsprosesser Geir Kirkebøen Orienteringsmøte for førsteårsstudenter i IT-SLP, 6. april 2005 BA i IT-SLP: Bedømmings- og beslutningsprosesser Geir Kirkebøen

Oversikt: Hvordan IT bidro til å forandre psykologifaget Ekspertise, AI og BB-psykologi: Et paradoks Hva er bedømmings- og beslutningspsykologi? Hva er beslutningsteknologi? BA i IT-SLP: Bedømmings- og beslutningsprosesser

Hvordan IT bidro til å forandre psykologifaget: Mer komplisert (IT-)teknologi krevde en mer kompleks, mentalistisk psykologi IT ga terminologi og forståelsesformer til denne nye mentalistiske psykologien IT ga den nye mentalistiske (kognitive) psykologien vitenskapelig legitimitet

Problemer med mentalistisk psykologi før 1950: Mentale størrelser: Kunnskap, idéer, holdninger, følelser, ’superego’, … mm ”Persepsjonsproblemet”: ”Kontrollproblemet”: Hvordan oppstår mentale størrelser fra sansning? Hvordan produserer/ kontrollerer mentale størrelser atferd/handling? Reflekser ol. Sansepåvirkning Atferd/ Handling

Atferdspsykologiens løsning: Mentale størrelser Kontroll-problemet Persepsjons- problemet Sansepåvirkning Atferd/ Handling Atferdspsykologiens løsning: "everything can be done in terms of stimuli and response” (John Watson, 1913) Stimuli (Sansepåvirkning) Respons (atferd)

Krigen, 1940-45: Mer komplisert (IT-)teknologi krevde en mer kompleks psykologi Atferdpsykologiens klokkertro på læring: "I'll guarantee to take any (...) one [baby] at random and train him to be any type of specialist" (John Watson) Psykologenes oppgave under krigen, bl.a.: Lær opp personell til å håndtere den nye mer komplekse krigsteknologien (menneske-maskin systemer etc.)! Presser fram en ny type ”mentalistiske” spørsmål: Hva er menneskets ”indre” (mentale) begrensninger?

2. IT ga terminologi og forståelsesformer til en ny type mentalistisk psykologi Eksempel 1: Miller G. A. (1956) The magical number seven plus or minus two: some limits in our capacity for processing information. Psycological Review, 63, s. 81- 97 ‘Umiddelbare hukommelse’ = ‘Informasjonskanal’ Bestemmer denne ”kanalens” kapasitet til 7 +/- 2 informasjonsenheter Begrensningen reiser spørsmålene: Hvordan klarer vi oss i verden med en slik dramatisk begrensning? Hvordan overskrider vi denne begrensningen? Millers svar: Ved å rekode input-informasjon i større enheter (’chunking’)

Eksempel 2: Chomsky N.A. (1959) A review of Skinner's Verbal Behavior. Language, 35, 26-58 Skinner tar feil! Atferdspsykologiens “eksterne” forklaringsprinsipper (stimuli/respons) er ikke tilstrekkelige til å redegjøre for barns (raske) læring av språk Nødvendig å anta en medfødt ”indre” språkkompetanse Chomsky (1957): Språkkompetansen er (mentalt) representert som en ’generativ grammatikk’ (regelproduksjonssystem) Chomsky (1957) bruker IT (endelig tilstandsmaskiner etc.) i argumentasjonen mot atferdspsykologi

Miller (1957) og Chomsky (1959) forfekter en mentalistisk psykologi: Millers (1957) begrep om ”mental koding” (chunking) innebærer en antagelse om en ”aktiv mind”, dvs. en aktiv, mental strukturering av sanseinformasjon Chomsky (1959) antar at språklig atferd må forstås ut fra språklig representert kunnskap, at språk genereres fra en mentalt representert ”generativ grammatikk” Kodet informasjon (Miller, 1957) Generativ grammatikk (Chomsky, 1959) Generering av språk (Chomsky, 1959) Chunking (Miller, 1957) Sansepåvirkning Handling/atferd

3. IT ga den nye mentalistiske (kognitive) psykologien vitenskapelig legitimitet Kritikk av begreper om ‘mental kontroll’ før IT, eksempel: “[Tolman’s (1932)] rat is left buried in thought“ (Gutherie, 1935) Newell & Simon, c. 1954: Utvikler programmeringsspråket IPL (en forløper til LISP) som et språk for å formulere psykologiske teorier om problemløsning. Viser hvordan (”mentalt” representert) problemløsningskunnskap leder til (”mentalt kontrollerer”) problemløsningsatferd Miller G. A., Galanter E., Pribram K. H. (1960) Plans and the structure of behavior: Foreslår en ”kybernetisk” informasjonsprosess (TOTE) som alternativ til atferdspsykologenes ”fysiologiske” S-R-bue

Den kognitive ”revolusjon” Akademisk psykologi fram til c. 1960 er dominert av Watsons slagord: "everything can be done in terms of stimuli and response” Neisser, 1967: "every psychological phenomenon is a cognitive phenomenon (…) the term "cognition" refers to all processes by which the sensory input is transformed, reduced, elaborated, stored, recovered, and used (…) cognition is involved in everything a human being might possibly do (...) " Lærebok i kognitiv psykologi, UiO c. 1990: "in general, we try to understand human cognitive processes in terms of what we know about their electronic counterparts" (Bourne, 1986, 30)

Ekspertise, AI og BB-psykologi: Et paradoks AI og ekspertise: Ekspertsystemer (ES) Newell og Simon (1957 mfl)  Feigenbaum (1963) ES-visjonen: ”Klone” eksperter i form av dataprogrammer Kunnskapsrepresentasjon: HVIS <situasjoni> SÅ <handlingj> Ambisiøse, komplekse systemer, tidkrevende å utvikle c.1990: Knapt systemer i praktisk bruk Eksperter lar seg ikke ”klone” i form av dataprogrammer

BB-forskning på profesjonelt skjønn ’Det fjerde slaget mot menneskets selvfølelse’ Hovedfunn I: Profesjonsutøveres skjønnsmessige vurderinger overgås systematisk av enkle formler Hovedfunn II: Skjønnsmessige vurderingers nøyaktighet bedres ikke med erfaring

BB-psykologiske studier av ekspertskjønn Meehls (1954) Clinical versus statistical prediction. A theoretical analysis and a review of the evidence. Type vurderinger: Har pasienten hjerneskade? Er pasienten schizofren? ”Klinisk”: Skjønnsmessig tolkning av gitte data, dvs. vurdering "bare" ved bruk av hodet Statistisk/aktuarisk: Bruk av aktuarisk formel, dvs. formel basert på empirisk registrerte relasjoner mellom data og kriterium

Innvendinger mot Meehls (1954) funn, bl.a.: forts. Meehl, 1954 Kliniker og aktuarisk formel gis samme informasjon Review av 20 studier Resultat: Aktuariske metoder ga bedre vurderinger i de aller fleste tilfellene, aldri dårligere. Innvendinger mot Meehls (1954) funn, bl.a.: Klinisk skjønn vil komme bedre ut dersom … : 1) … det kreves ”konfigurale” vurderinger 2) … kliniker også har tilgang til ”naturlig” informasjon

”Konfigurale” vurderinger vs. enkle formler (Goldberg, 1965) Data: 861 MMPI-protokoller, dvs. 11 tallverdier Vurdering: Er pasienten nevrotisk eller psykotisk? Sammenligning: ”Goldbergs regel” vs. 29 klinikere Resultat: Beste kliniker: 67% korrekte Snitt klinikere: 62% korrekte "Goldbergs regel": 70 % korrekte

Hvordan ser Goldbergs regel ut? skala-1 + skala-2 + skala-3 – (skala-4 + skala-5) >= 45 ---> Psykotisk < 45 ---> Nevrotisk

Gjør tilgang på ”naturlig” informasjon ekspertskjønn bedre Gjør tilgang på ”naturlig” informasjon ekspertskjønn bedre? (Dawes, 1971) Vurdering: Seleksjon av elever til college, dvs. prediksjon av skoleprestasjoner Sammenligning: Inntakskomitéer (m/ erfarne skolefolk) vs. enkle formler Data: Komitéen har også tilgang til ”naturlig” informasjon, bl.a intervju med studentene

Dawes (1971) funn, bl.a: (1) 0.0032 GRE + 1.02 GPA + 0.0791 QI, simulerte inntakskomitéens vurderinger (2) 0.0006 GRE + 0.76 GPA + 0.2518 QI predikerte bedre enn komiteen (3) Bare GPA var tilstrekkelig til å foreta bedre "vurderinger" enn inntakskomitéen (4) En enkel formel eliminerte 55% av søkerne som ble vurdert og avvist av komiteen, uten å eliminere en eneste søker som ble akseptert av komiteen. Ved å bruke formelen ville man spare 18 millioner dollar (i 1971) årlig i USA

Vurderingers nøyaktighet forbedres ikke med erfaring “Yet in nearly every study of experts carried out within the judgment and decision-making approach, experience has been shown to be unrelated to the empirical accuracy of expert judgments” (Hammond, 1996, 278)

Hvorfor forbedres ikke vurderingers nøyaktighet med erfaring? 1.Profesjonelle vurderinger foretas gjerne i ”probabilistiske” læringsomgivelser Deterministiske læringsomgivelser: Samme (type) valg/vurdering gir samme (type) tilbakemelding. Probabilistiske læringsomgivelser: Samme type vurdering/valg kan gi forskjellig (type) tilbakemelding fra gang til gang. 2. I ”probabilistiske” læringsomgivelser er ikke betingelsene for effektiv erfaringslæring til stede

Betingelser for (effektiv) erfaringslæring: 1. Umiddelbar, utvetydig og konsistent tilbakemelding når man tar/gjør feil 2. At tilbakemeldingen gir en klar forståelse av hva som er feilen I probabilistiske læringsomgivelser lærer vi ikke av tilbakemeldingen vi får på vurderinger/valg fordi tilbakemeldingen ikke forteller oss hva vi har gjort galt (jf. læringsbetingelse 2)

Så, hva er ”paradokset”? AI-forskning viser at eksperter slett ikke lar seg erstatte av komplekse, dyre AI-ekspertsystemer … … mens BB-forskningen viser at ”sofistikert” ekspert-skjønn systematisk utkonkurreres av helt enkle formler. Hvorfor? AI-ekspertsystemer forsøker å ”fange inn” også eksperters ekstremt (i forhold til programmers) gode egenskaper (’se’ hva som er relevant info i en ’åpen’ situasjon etc.) ? Moralen: Fornuftig bruk av IT til beslutningsstøtte krever kunnskap om menneskers styrker og svakheter som bedømmere- og beslutningstakere, dvs. kunnskap i BB-psykologi

Hva er bedømmings- & beslutningspsykologi? Normative spørsmål: Hva er gode bedømminger/ beslutninger ideelt sett? Ut fra hvilke standarder tar vi stilling til dette? Deskriptive spørsmål: Hvordan bedømmer/beslutter vi? Og hvordan og hvorfor avviker vi fra normative standarder? Preskriptive spørsmål: Hva kan vi gjøre for å forbedre våre bedømminger og beslutninger?

BB-psykologi svarer til deskriptive modeller Normative modeller spesifiserer et ideal ved å gi en standard for ”optimal tenkning” (f.eks.: SEU, sannsynlighetsregning) Deskriptive modeller spesifiserer hvordan folk faktisk tenker/bedømmer/beslutter og hvordan og hvorfor de avviker fra de normative modellene. Preskriptive modeller er ment å bidra til å bringe tenkning, vurderinger, beslutninger bedre i overensstemmelse med normative modeller, dvs. ment å bidra til å forbedre vurderinger og beslutninger. BB-psykologi svarer til deskriptive modeller

Beslutningsteknologi Kunnskap representeres og formidles via datasystemer ofte nettopp med tanke på å støtte bedømminger og beslutninger Beslutningsteknologi = IT + preskriptive BB-modeller Web er et optimalt medium for å formidle BB-støtte

Edwards & Fasalo, 2001: Decision technology Edwards & Fasalo, 2001: Decision technology. Annual Review of Psychology Feb 2001, Vol. 52, pp. 581-606 “The ubiquity of personal computers and the increasing access to the World Wide Web provide greater availability of decision technology for all levels of problems. Even 10 years ago, sophisticated decision analysis would have required an expensive consultant. Now, on-line decision aids and personal computer programs are making inexpensive, yet sophisticated, decision technology available to everyone. However, much work remains to be done to make these tools more theoretically sound and more responsive to decision makers' needs (…) decision tools will be as important in the 21st century as spreadsheets were in the 20th” Eksempel: Beslutningsstøttet shopping: http://www.activebuyersguide.com/

BA i IT-SLP: Bedømmings- og beslutningsprosesser To-faglig: Informatikk: Praktisk profesjonskompetanse + Psykologi: Forskningsmetode og BB-psykologi Oppbygning: http://www.uio.no/studier/program/it-slp/presentasjon/oppbygging-gjennomforing.html

IT-SLP: BB Blokk A: HUMIT1700 - Grunnkurs i programmering for humanister HUMIT1730 - Hypermedier INF1010 - Objektorientert programmering INF1050 - Systemutvikling

Blokk B: PSY1000 - Generell psykologi (20 poeng) PSY1010 - Forskningsmetoder I PSY1100 - Sosialpsykologi I

Blokk C: STK1000 - Innføring i anvendt statistikk PSY2301 - Bedømmings- og beslutningspsykologi I PSY3390 - Bedømmings- og beslutningspsykologi II, Selvvalgt oppgave PSY2300 - Kognitiv psykologi I

Blokk D: Psykologivinklet, for eksempel: HUMIT3730 - Web-programmering PSY2400 - Organisasjonspsykologi I: Ledelse og kommunikasjon   (Forutsetter: PSY1000 - Generell psykologi og PSY1100 - Sosialpsykologi I.) PSY2403 - Organisasjonspsykologi II: Menneske teknologi samspill (Forutsetter: PSY1000 - Generell psykologi, PSY1010 - Forskningsmetoder I og PSY1100 - Sosialpsykologi I) INF2100 - Prosjektoppgave i programmering (forutsetter INF1010)

Blokk D: Informatikkvinklet, for eksempel: HUMIT2710 - Funksjonell programmering INF2100 - Prosjektoppgave i programmering (forutsetter INF1010) INF3100 - Databasesystemer /INF4100 (forutsetter INF1010 og INF1050) PSY2403 - Organisasjonspsykologi II: Menneske teknologi samspill (Forutsetter: PSY1000 - Generell psykologi, PSY1010 - Forskningsmetoder I og PSY1100 - Sosialpsykologi I)