BA i IT-SLP: Bedømmings- og beslutningsprosesser Geir Kirkebøen

Presentasjon om: "BA i IT-SLP: Bedømmings- og beslutningsprosesser Geir Kirkebøen"— Utskrift av presentasjonen:

1 BA i IT-SLP: Bedømmings- og beslutningsprosesser Geir Kirkebøen
Orienteringsmøte for førsteårsstudenter i IT-SLP, 6. april 2005 BA i IT-SLP: Bedømmings- og beslutningsprosesser Geir Kirkebøen

2 Oversikt: Hvordan IT bidro til å forandre psykologifaget
Ekspertise, AI og BB-psykologi: Et paradoks Hva er bedømmings- og beslutningspsykologi? Hva er beslutningsteknologi? BA i IT-SLP: Bedømmings- og beslutningsprosesser

3 Hvordan IT bidro til å forandre psykologifaget:
Mer komplisert (IT-)teknologi krevde en mer kompleks, mentalistisk psykologi IT ga terminologi og forståelsesformer til denne nye mentalistiske psykologien IT ga den nye mentalistiske (kognitive) psykologien vitenskapelig legitimitet

4 Problemer med mentalistisk psykologi før 1950:
Mentale størrelser: Kunnskap, idéer, holdninger, følelser, ’superego’, … mm ”Persepsjonsproblemet”: ”Kontrollproblemet”: Hvordan oppstår mentale størrelser fra sansning? Hvordan produserer/ kontrollerer mentale størrelser atferd/handling? Reflekser ol. Sansepåvirkning Atferd/ Handling

5 Atferdspsykologiens løsning:
Mentale størrelser Kontroll-problemet Persepsjons- problemet Sansepåvirkning Atferd/ Handling Atferdspsykologiens løsning: "everything can be done in terms of stimuli and response” (John Watson, 1913) Stimuli (Sansepåvirkning) Respons (atferd)

6 Krigen, 1940-45: Mer komplisert (IT-)teknologi krevde en mer kompleks psykologi
Atferdpsykologiens klokkertro på læring: "I'll guarantee to take any (...) one [baby] at random and train him to be any type of specialist" (John Watson) Psykologenes oppgave under krigen, bl.a.: Lær opp personell til å håndtere den nye mer komplekse krigsteknologien (menneske-maskin systemer etc.)! Presser fram en ny type ”mentalistiske” spørsmål: Hva er menneskets ”indre” (mentale) begrensninger?

7 2. IT ga terminologi og forståelsesformer til en ny type mentalistisk psykologi
Eksempel 1: Miller G. A. (1956) The magical number seven plus or minus two: some limits in our capacity for processing information. Psycological Review, 63, s ‘Umiddelbare hukommelse’ = ‘Informasjonskanal’ Bestemmer denne ”kanalens” kapasitet til 7 +/- 2 informasjonsenheter Begrensningen reiser spørsmålene: Hvordan klarer vi oss i verden med en slik dramatisk begrensning? Hvordan overskrider vi denne begrensningen? Millers svar: Ved å rekode input-informasjon i større enheter (’chunking’)

8 Eksempel 2: Chomsky N.A. (1959) A review of Skinner's Verbal Behavior. Language, 35, 26-58 Skinner tar feil! Atferdspsykologiens “eksterne” forklaringsprinsipper (stimuli/respons) er ikke tilstrekkelige til å redegjøre for barns (raske) læring av språk Nødvendig å anta en medfødt ”indre” språkkompetanse Chomsky (1957): Språkkompetansen er (mentalt) representert som en ’generativ grammatikk’ (regelproduksjonssystem) Chomsky (1957) bruker IT (endelig tilstandsmaskiner etc.) i argumentasjonen mot atferdspsykologi

9 Miller (1957) og Chomsky (1959) forfekter en mentalistisk psykologi:
Millers (1957) begrep om ”mental koding” (chunking) innebærer en antagelse om en ”aktiv mind”, dvs. en aktiv, mental strukturering av sanseinformasjon Chomsky (1959) antar at språklig atferd må forstås ut fra språklig representert kunnskap, at språk genereres fra en mentalt representert ”generativ grammatikk” Kodet informasjon (Miller, 1957) Generativ grammatikk (Chomsky, 1959) Generering av språk (Chomsky, 1959) Chunking (Miller, 1957) Sansepåvirkning Handling/atferd

10 3. IT ga den nye mentalistiske (kognitive) psykologien vitenskapelig legitimitet
Kritikk av begreper om ‘mental kontroll’ før IT, eksempel: “[Tolman’s (1932)] rat is left buried in thought“ (Gutherie, 1935) Newell & Simon, c. 1954: Utvikler programmeringsspråket IPL (en forløper til LISP) som et språk for å formulere psykologiske teorier om problemløsning. Viser hvordan (”mentalt” representert) problemløsningskunnskap leder til (”mentalt kontrollerer”) problemløsningsatferd Miller G. A., Galanter E., Pribram K. H. (1960) Plans and the structure of behavior: Foreslår en ”kybernetisk” informasjonsprosess (TOTE) som alternativ til atferdspsykologenes ”fysiologiske” S-R-bue

11 Den kognitive ”revolusjon”
Akademisk psykologi fram til c er dominert av Watsons slagord: "everything can be done in terms of stimuli and response” Neisser, 1967: "every psychological phenomenon is a cognitive phenomenon (…) the term "cognition" refers to all processes by which the sensory input is transformed, reduced, elaborated, stored, recovered, and used (…) cognition is involved in everything a human being might possibly do (...) " Lærebok i kognitiv psykologi, UiO c. 1990: "in general, we try to understand human cognitive processes in terms of what we know about their electronic counterparts" (Bourne, 1986, 30)

12 Ekspertise, AI og BB-psykologi: Et paradoks
AI og ekspertise: Ekspertsystemer (ES) Newell og Simon (1957 mfl)  Feigenbaum (1963) ES-visjonen: ”Klone” eksperter i form av dataprogrammer Kunnskapsrepresentasjon: HVIS <situasjoni> SÅ <handlingj> Ambisiøse, komplekse systemer, tidkrevende å utvikle c.1990: Knapt systemer i praktisk bruk Eksperter lar seg ikke ”klone” i form av dataprogrammer

13 BB-forskning på profesjonelt skjønn
’Det fjerde slaget mot menneskets selvfølelse’ Hovedfunn I: Profesjonsutøveres skjønnsmessige vurderinger overgås systematisk av enkle formler Hovedfunn II: Skjønnsmessige vurderingers nøyaktighet bedres ikke med erfaring

14 BB-psykologiske studier av ekspertskjønn
Meehls (1954) Clinical versus statistical prediction. A theoretical analysis and a review of the evidence. Type vurderinger: Har pasienten hjerneskade? Er pasienten schizofren? ”Klinisk”: Skjønnsmessig tolkning av gitte data, dvs. vurdering "bare" ved bruk av hodet Statistisk/aktuarisk: Bruk av aktuarisk formel, dvs. formel basert på empirisk registrerte relasjoner mellom data og kriterium

15 Innvendinger mot Meehls (1954) funn, bl.a.:
forts. Meehl, 1954 Kliniker og aktuarisk formel gis samme informasjon Review av 20 studier Resultat: Aktuariske metoder ga bedre vurderinger i de aller fleste tilfellene, aldri dårligere. Innvendinger mot Meehls (1954) funn, bl.a.: Klinisk skjønn vil komme bedre ut dersom … : 1) … det kreves ”konfigurale” vurderinger 2) … kliniker også har tilgang til ”naturlig” informasjon

16 ”Konfigurale” vurderinger vs. enkle formler (Goldberg, 1965)
Data: 861 MMPI-protokoller, dvs. 11 tallverdier Vurdering: Er pasienten nevrotisk eller psykotisk? Sammenligning: ”Goldbergs regel” vs. 29 klinikere Resultat: Beste kliniker: 67% korrekte Snitt klinikere: 62% korrekte "Goldbergs regel": 70 % korrekte

17 Hvordan ser Goldbergs regel ut?
skala-1 + skala-2 + skala-3 – (skala-4 + skala-5) >= > Psykotisk < > Nevrotisk

18 Gjør tilgang på ”naturlig” informasjon ekspertskjønn bedre
Gjør tilgang på ”naturlig” informasjon ekspertskjønn bedre? (Dawes, 1971) Vurdering: Seleksjon av elever til college, dvs. prediksjon av skoleprestasjoner Sammenligning: Inntakskomitéer (m/ erfarne skolefolk) vs. enkle formler Data: Komitéen har også tilgang til ”naturlig” informasjon, bl.a intervju med studentene

19 Dawes (1971) funn, bl.a: (1) GRE GPA QI, simulerte inntakskomitéens vurderinger (2) GRE GPA QI predikerte bedre enn komiteen (3) Bare GPA var tilstrekkelig til å foreta bedre "vurderinger" enn inntakskomitéen (4) En enkel formel eliminerte 55% av søkerne som ble vurdert og avvist av komiteen, uten å eliminere en eneste søker som ble akseptert av komiteen. Ved å bruke formelen ville man spare 18 millioner dollar (i 1971) årlig i USA

20 Vurderingers nøyaktighet forbedres ikke med erfaring
“Yet in nearly every study of experts carried out within the judgment and decision-making approach, experience has been shown to be unrelated to the empirical accuracy of expert judgments” (Hammond, 1996, 278)

21 Hvorfor forbedres ikke vurderingers nøyaktighet med erfaring?
1.Profesjonelle vurderinger foretas gjerne i ”probabilistiske” læringsomgivelser Deterministiske læringsomgivelser: Samme (type) valg/vurdering gir samme (type) tilbakemelding. Probabilistiske læringsomgivelser: Samme type vurdering/valg kan gi forskjellig (type) tilbakemelding fra gang til gang. 2. I ”probabilistiske” læringsomgivelser er ikke betingelsene for effektiv erfaringslæring til stede

22 Betingelser for (effektiv) erfaringslæring:
1. Umiddelbar, utvetydig og konsistent tilbakemelding når man tar/gjør feil 2. At tilbakemeldingen gir en klar forståelse av hva som er feilen I probabilistiske læringsomgivelser lærer vi ikke av tilbakemeldingen vi får på vurderinger/valg fordi tilbakemeldingen ikke forteller oss hva vi har gjort galt (jf. læringsbetingelse 2)

23 Så, hva er ”paradokset”? AI-forskning viser at eksperter slett ikke lar seg erstatte av komplekse, dyre AI-ekspertsystemer … … mens BB-forskningen viser at ”sofistikert” ekspert-skjønn systematisk utkonkurreres av helt enkle formler. Hvorfor? AI-ekspertsystemer forsøker å ”fange inn” også eksperters ekstremt (i forhold til programmers) gode egenskaper (’se’ hva som er relevant info i en ’åpen’ situasjon etc.) ? Moralen: Fornuftig bruk av IT til beslutningsstøtte krever kunnskap om menneskers styrker og svakheter som bedømmere- og beslutningstakere, dvs. kunnskap i BB-psykologi

24 Hva er bedømmings- & beslutningspsykologi?
Normative spørsmål: Hva er gode bedømminger/ beslutninger ideelt sett? Ut fra hvilke standarder tar vi stilling til dette? Deskriptive spørsmål: Hvordan bedømmer/beslutter vi? Og hvordan og hvorfor avviker vi fra normative standarder? Preskriptive spørsmål: Hva kan vi gjøre for å forbedre våre bedømminger og beslutninger?

25 BB-psykologi svarer til deskriptive modeller
Normative modeller spesifiserer et ideal ved å gi en standard for ”optimal tenkning” (f.eks.: SEU, sannsynlighetsregning) Deskriptive modeller spesifiserer hvordan folk faktisk tenker/bedømmer/beslutter og hvordan og hvorfor de avviker fra de normative modellene. Preskriptive modeller er ment å bidra til å bringe tenkning, vurderinger, beslutninger bedre i overensstemmelse med normative modeller, dvs. ment å bidra til å forbedre vurderinger og beslutninger. BB-psykologi svarer til deskriptive modeller

26 Beslutningsteknologi
Kunnskap representeres og formidles via datasystemer ofte nettopp med tanke på å støtte bedømminger og beslutninger Beslutningsteknologi = IT + preskriptive BB-modeller Web er et optimalt medium for å formidle BB-støtte

27 Edwards & Fasalo, 2001: Decision technology
Edwards & Fasalo, 2001: Decision technology. Annual Review of Psychology Feb 2001, Vol. 52, pp “The ubiquity of personal computers and the increasing access to the World Wide Web provide greater availability of decision technology for all levels of problems. Even 10 years ago, sophisticated decision analysis would have required an expensive consultant. Now, on-line decision aids and personal computer programs are making inexpensive, yet sophisticated, decision technology available to everyone. However, much work remains to be done to make these tools more theoretically sound and more responsive to decision makers' needs (…) decision tools will be as important in the 21st century as spreadsheets were in the 20th” Eksempel: Beslutningsstøttet shopping:

28 BA i IT-SLP: Bedømmings- og beslutningsprosesser
To-faglig: Informatikk: Praktisk profesjonskompetanse + Psykologi: Forskningsmetode og BB-psykologi Oppbygning:

29 IT-SLP: BB Blokk A: HUMIT Grunnkurs i programmering for humanister HUMIT Hypermedier INF Objektorientert programmering INF Systemutvikling

30 Blokk B: PSY Generell psykologi (20 poeng) PSY Forskningsmetoder I PSY Sosialpsykologi I

31 Blokk C: STK1000 - Innføring i anvendt statistikk
PSY Bedømmings- og beslutningspsykologi I PSY Bedømmings- og beslutningspsykologi II, Selvvalgt oppgave PSY2300 - Kognitiv psykologi I

32 Blokk D: Psykologivinklet, for eksempel:
HUMIT3730 - Web-programmering PSY2400 - Organisasjonspsykologi I: Ledelse og kommunikasjon   (Forutsetter: PSY Generell psykologi og PSY Sosialpsykologi I.) PSY2403 - Organisasjonspsykologi II: Menneske teknologi samspill (Forutsetter: PSY Generell psykologi, PSY Forskningsmetoder I og PSY Sosialpsykologi I) INF2100 - Prosjektoppgave i programmering (forutsetter INF1010)

33 Blokk D: Informatikkvinklet, for eksempel:
HUMIT2710 - Funksjonell programmering INF2100 - Prosjektoppgave i programmering (forutsetter INF1010) INF3100 - Databasesystemer /INF4100 (forutsetter INF1010 og INF1050) PSY2403 - Organisasjonspsykologi II: Menneske teknologi samspill (Forutsetter: PSY Generell psykologi, PSY Forskningsmetoder I og PSY Sosialpsykologi I)