"The magic step" i ekspertestimering av IT-utviklingskostnader Hvorfor føles 1000 timeverk mer riktig enn 1500? JavaZone 14.9.2005 Magne Jørgensen, magnej@simula.no Stein Grimstad, steing@simula.no Tanja Gruschke, tanjag@simula.no Simula Research Laboratory & University of Oslo

Innhold Hvor stor er gjennomsnittlig IT-overskridelse? 189% eller 30%? Øvelser / eksperiment (oppsummeres i løpet av presentasjonen) Hva er best av estimeringsmodeller og ekspertestimering? Hva skjer når en ekspert estimerer? Analyse eller intuisjon? Hva påvirker estimatet? Vet den som estimerer hva som skjer? Hva kan gjøres for å forbedre estimatene?

Hvor stor er gjennomsnittlig IT-overskridelse Hvor stor er gjennomsnittlig IT-overskridelse? Hvorfor tror mange at gjennomsnittlig overskridelse er på 189% og at vi dermed har en ”programvarekrise”?

Hovedkilden: The Standish Group: The CHAOS Report                                                                                                                  Hovedkilden: The Standish Group: The CHAOS Report “The Standish Group research shows a staggering 31.1% of projects will be canceled before they ever get completed. Further results indicate 52.7% of projects will cost 189% of their original estimates.” (1994 CHAOS Report) DENNE KILDEN ER FORTSATT DEN HYPPIGST REFERERTE FOR Å BESKRIVE HVOR DÅRLIGE VI ER TIL Å ESTIMERE!

Standish’s rapport er ikke troverdig! Andre studier fra samme periode viser alle overskridelser på 30- 35%. Seks år senere rapporterer de en overskridelse på 45%. Er det trolig at IT-industrien har gått fra 189% til 45% overskridelse i løpet av 6 år? Rapporten gir ingen beskrivelse av hvordan de måler overskridelser, hvordan prosjektene er valgt eller hvordan de har analysert. For å få avklaringer spurte vi dem. De ville ikke engang oppgi hvordan de målte overskridelse! Ikke til oss og ikke etter flere henvendelse fra Robert Glass i IEEE Software. Skjevt utvalg i CHAOS-rapporten er trolig årsaken til de uvanlige tallene: ”We then called and mailed a number of confidential surveys to a random sample of top IT executives, asking them to share failure stories” [!!!]

En liten undersøkelse ... Oppsummeres i løpet av sesjonen!

Ekspertestimering av IT-kostnader Hvorfor bruker vi ikke estimeringsmodeller? Er ekspertestimering en analytisk eller intuisjonsbasert aktivitet? Hva skjer når en ekspert estimerer?

Estimeringsmodeller vs eksperter Formelle estimeringsmodeller: Function points, Use case points, COCOMO, PRICE-S, ... Effort = a * Sb * CF Lønner det seg å bruke estimeringsmodeller? En oppsummering av 15 sammenligninger gir at stillingen er ”uavgjort”. 5 studier viser at modeller er best, 5 at eksperter er best, og 5 fant ingen forskjell. Grunnen kan være at estimeringsmodeller ofte brukes som ”ekspertestimering i forkledning” Alle fornuftige estimeringsmodeller har store justeringsmuligheter. Indikasjoner på at estimeringsmodeller ofte ikke brukes mekanisk, men at input til modellen tilpasses slik at modellen gir det ”riktige” svaret. I praktiske situasjoner er det trolig liten forskjell på ekspert- og modellbasert estimering!

Er ekspertestimering intuisjon eller analyse?

Analyse Eksplisitte steg Vi kan forklare hvorfor vi gjør hva vi gjør Resultatet er etterprøvbart Konsistente resultater Ofte mye arbeid ”High confidence in method, low confidence in outcome” (Hammond)

Intuisjon Ikke eksplisitte steg Vi vet ikke hvordan vi kom fram til resultatet Resultatet er vanskelig å etterprøve Inkonsistente resultater Krever lite arbeid ”Low confidence in method, high confidence in outcome” (Hammond)

Ofte samarbeider og/eller konkurrerer analyse og intuisjon ...

Når en ekspert estimerer 1000 timer så skjer dette på bakgrunn av ... Analyse? Intuisjon? Samarbeid mellom intuisjon og analyse for å komme fram til estimatet? Intuisjonen bestemmer estimatet, deretter brukes analysen til rasjonalisering? Rasjonalisering: Argumentasjon for hvorfor 1000 timer er et fornuftig estimat.

Vi tror (basert på mange studier) at: Typisk ekspertestimat Nedbryting i aktiviteter: Mest analyse Estimering av arbeidsmengde til aktivitet: Intuisjon, ev. med justering fra mer analytisk aktivitet som bruk av historiske data, andres synspunkter o.l. Forklaring (enten overfor en selv, prosjektleder, eller kunde): Ingen forklaring, eller Analytisk rasjonalisering (ved henvisning til formelle modeller, tidligere erfaringer, o.l.)

ESTIMAT = INTUISJON + RASJONALISERING (E=I+R) Vi har gjort mange forsøk på å få estimeringseksperter til å beskrive hva som skjer i estimeringsøyeblikket (magic step): Think-aloud protokoller Analyse av estimeringsdiskusjoner Studier der vi ber dem å skrive ned hvordan de har kommet fram til estimater Intervjuer Ingen av de vi har vært i kontakt med (flere hundre!) har vært i stand til å beskrive en etterprøvbar estimeringsprosess, selv i konkrete prosjekter! Stegene som beskrives går typisk på nedbryting i aktiviteter Vår (uærbødige) funn er at de som estimerer IKKE VET HVA SOM SKJER, men ofte har et sterkt behov for å gi inntrykk av det. Få vil være villig til å investere 100 millioner basert på at en ekspert har en magefølelse på at det er det noe vil koste. ... selv om det er akkurat det er det som skjer!

En liten avsporing 1: Menneskets Tre Største Nederlag Copernicus: Jorda er ikke universet sentrum Sola går ikke rundt jorda, og jorda er en planet i likhet med mange andre Darwin: Mennesket er ikke jordas sentrum Mennesket er et evolusjonsskapt vesen i likhet med andre dyr Freud: Mennesket er ikke engang herre i eget hus Det aller meste av det vi gjør og tenker, styres av det ubevisste (intuisjon, instinkt, ...)

En liten avsporing 2: Libet’s eksperiment Følelsen av at vi kontrollerer våre handlinger er i mange tilfelle en villedende. Våre muligheter til kontroll (og fri vilje) er dermed noe overdrevet Analyse av hjerneaktivitet viser at de deler av hjernen som styrer handlingene ofte kommer FØR vår bevissthet om at vi kontrollerer handlingen. Sagt på forskermåten: “... initiation of voluntary acts begins unconsciously, demonstrating that your consciousness lags behind the brain processes that actually control your body.”

En liten avsporing 3: Hvordan velger vi mellom fransk og tysk vin?

En liten avsporing 4: Hypnose-eksperiment En person blir hypnotisert til at han skal åpne vinduet med en gang han våkner fra ”transen”. Personen våkner og går rett bort og åpner vinduet. Han blir spurt om hvorfor han åpner vinduet. ”Fordi det var så varmt”-svaret, kommer momentant. Mennesker er (av en eller annen grunn) enormt gode i å rasjonalisere. Kanskje fordi hjernen vår er skreddersydd til å få ”ting til å stemme kjapt”. Når vi står overfor en situasjon har det å reagere kjapt vært mer viktig enn dyp analyse. I de fleste situasjoner er vi så gode til å rasjonalisere at vi tror på det selv!

Konsekvens av E=I+R: Eksperiment 1 Estimater kan påvirkes til å bli høyere eller lavere vha irrelevant informasjon Eksperiment Gruppe 1 (Gruppe 2): Anta at firmaet X’s hjemmesider (med kontaktinformasjon, m.m.) i dag er ute av funksjon i ca. 3 dager per år. X kan gjøre en mindre forbedring som vil koste ca. 10 000 kr (Gruppe 2: ”vil koste ca. 200 000 kr”) og antas å redusere antall nededager per år til ca. 2. X kan også gjøre en større investering for å redusere antall nededager i året til så å si 0. Om X bør gjøre det er et spørsmål om kostnad relativt til nytte. Sett i lys av hvor viktig X’s hjemmesider er for kunder og ansatte, hvor mye mener du en forbedring fra dagens 3 til så å si 0 nededager er verdt? En reduksjon til så å si 0 nededager er verdt ca. _________ kr

Resultater

Konsekvens av E=I+R: Eksperiment 2 Det er mulig å designe anbudsprosessen slik at man får (nesten) så lave tilbud man vil. Undersøkelse blant norske firma Gruppe A: Prisindikasjon basert på vag og ufullstendig spesifikasjon  Tilbud basert på full spesifikasjon Tilbud ferdig spesifikasjon: gj.sn. 280 000 kr Gruppe B: Tilbud basert på full spesifikasjon Tilbud ferdig spesifikasjon: gj.sn. 170 000 kr

Resultater

Resultater (Hvordan få lave pristilbud?) IKKE INVOLVER mulige leverandører før spesifikasjonen er så god som mulig. Start med å be om pris på STOR spesifikasjon, for deretter å fjerne del etter del av funksjonaliteten med stadig oppdaterte pristilbud. Det motsatte (”starte smått” og legge til) fører til høyere pris. Inviter MANGE i tilbudsrunden (større sannsynlighet for minst en god, over-optimistisk leverandør). Indiker et fokus på PRIS.

Hva skjer i hodet til en estimerer? Det er det ingen som vet mye om I vertfall ikke den som estimerer E=I+R teorien antar at: En del av hjernen gjør estimeringsjobben En annen del forklarer hva som har skjedd uten egentlig å vite det. Denne delen av hjernen daterer analysen tilbake i tid, slik at vi opplever at analysen kom først.

Selv om vi ikke kan kontrollere eller forklare intuisjonen, så kan vi kultivere den ... (H. Simon) “Intuition and judgment – at least good judgment – are simply analyses frozen into habit and into the capacity for rapid response through recognition. .... Every manager needs also to be able to respond to situations rapidly, a skill that requires the cultivation of intuition and judgment over many years of experience and training.”

Hvordan kultivere estimeringsintuisjon? Sørg for å ”aktivere” relevant erfaring. Strukturering av informasjonen og prosesser hjelper. Lett tilgang på historiske data hjelper. ”Access-effekten” er viktig årsak til overskridelser Sørg for å fjerne irrelevant og mindre viktig informasjon Irrelevant informasjon kan føre til feil analogier/assosiasjoner/aktivering Intuisjonen kan finne på å vekte all tilgjengelig informasjon noe, selv om vi vet den ikke er relevant Sørg for estimeringssituasjoner der realisme er ENESTE mål Skreddersy situasjonen slik at angivelse av mest sannsynlig kostnad er eneste mål. Ofte vet ikke de som estimerer om det de angir er ment å være pris (mål = vinne anbudsrunde), budsjett (mål = kostnadskontroll), plan (mål = prosjektstyring) eller mest sannsynlig kostnad (mål = realisme).

Hvordan kultivere estimeringsintuisjon? Dersom tidligere erfaringer ikke er relevante nok bør grad av analyse økes Intuisjonen er da lite å stole Øk bruken av estimeringsregler/modeller Innhent ekspertise utenfra NB: Relevans av erfaring er MYE SNEVRERE enn mange tror. Sørg for feedback og gjør årsaksanalyser både ved nøyaktige og unøyaktige estimater. Lær deg å gjenkjenne situasjoner der du kan stole på intuisjonen din og andres. Bruk mer enn en strukturering av estimeringsprosessen Både top-down (outside view) og bottom-up (inside view)