Managerial Decision Modeling Cliff Ragsdale 6. edition Chapter 9 Regression Analysis BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Introduksjon til Regresjonsanalyse Regresjonsanalyse brukes for å estimere en funksjon f( ) som beskriver sammenhengen mellom en kontinuerlig avhengig variabel (Y) og en eller flere uavhengige variabler (X). Y = f(X1, X2, X3,…, Xn) + e Merk: f( ) beskriver den systematiske variasjonen i sammenhengen. e angir den usystematiske variasjonen (eller stokastisk avvik) i sammenhengen. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Et eksempel Betrakt forholdet mellom reklame (X1) og salg (Y) for et selskap. Det eksisterer sannsynligvis en sammenheng... ...når reklamen øker, bør også salget øke. Men hvordan kan vi måle og kvantifisere denne sammenhengen ? BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Data BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Et scatterdiagram over dataene BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Karakteristika for statistiske sammenhenger Y X Sannsynlighetsfordelinger for Y ved forskjellige nivåer av X Regresjonskurve BØK350 OPERASJONSANALYSE Rasmus Rasmussen

En enkel regresjonsanalysemodell Scatterdiagrammet indikerer en lineær sammenheng mellom reklame og salg. Dataene antyder derfor følgende regresjonsmodell, Denne modellen representerer den sanne sammenhengen mellom hele populasjonen av reklame- og salgs-verdier. Den estimerte regresjonsfunksjonen (basert på vårt data- utvalg) angis som følger, BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Finne beste tilpassing (best fit) Vi må tildele numeriske verdier til b0 og b1 Minste kvadraters metode (“least squares”) finner de verdiene som minimerer: Hvis ESS=0 så passer vår estimerte funksjon perfekt til dataene. ESS = Error Sum of Squares, dvs. sum kvadrerte avvik. Vi kan løse problemet ved hjelp av Solver… BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Modellen i regneark BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Tilpassing av funksjonen BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Den estimerte regresjonsfunksjonen Den estimerte regresjonsfunksjonen er : BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Legge til add-ins i Excel Klikk på Start-knappen Klikk på Add-Ins Velg Excel Options Velg Excel Add-ins og klikk på Go… BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Legge til add-ins i Excel Velg Analysis ToolPak Dukker opp sist under Data BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Bruk av regresjonshjelpemidler Excel har også innebygde funksjoner for regresjonsanalyse som : Er enklere å bruke Gir mye mere informasjon om problemet BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Regresjonsanalyse i Excel BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Regresjonsresultat BØK350 OPERASJONSANALYSE Rasmus Rasmussen

TREND() funksjonen TREND(Y-område; X-område; X-verdi for prediksjon) der: Y-område er området i regnearket som inneholder verdiene for den avhengige Y variabelen, X-område er området i regnearket som inneholder verdiene for de(n) uavhengige X variablene, X-verdi for prediksjon er en celle (eller celler) som inneholder verdier for X variabelen(e) som vi ønsker å bruke til å estimere verdier for Y. Merk: TREND( ) funksjonen blir dynamisk oppdatert hver gang dataene til funksjonen endres. Imidlertid gir den ikke den statistiske informasjonen som regresjonsanalysen gir. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Evaluere “tilpassingen” Høyre-klikk på punktene i scatter-diagrammet: BØK350 OPERASJONSANALYSE Rasmus Rasmussen

R2 Determinasjonskoeffisienten R2 indikerer hvor godt den estimerte regresjonsfunksjonen passer dataene. 0 ≤ R2 ≤ 1 Den måler andelen av den totale variasjonen i Y rundt gjennomsnittet, som kan forklares med den estimerte regresjonsfunksjonen. For å forstå dette bedre, betrakt følgende figur... BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Dekomponering av estimeringsfeil Y X * Yi (faktisk verdi) Y { Yi - Uforklarte avvik ESS Yi - Yi } Yi - Y ^ Totalavvik TSS ^ Y = b0 + b1X Yi (estimert verdi) Forklarte avvik RSS BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Den totale sum av kvadrerte avvik (omkring gjennomsnittet) TSS = ESS + RSS TSS = Total Sum of Squares ESS = Error Sum of Squares RSS = Regression Sum of Squares BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Prediksjoner for markedsføring Anta at vi er interessert i å estimere forventet salgsnivå hvis $65 000 brukes på reklame. Estimert salg = 36,342 + 5,550 * 65 = 397,092 Så hvis $65000 brukes på reklame, vil vi forvente at omsetningen i gjennomsnitt vil ligge på $397 092. (Husk: Alle tall er i tusen.) BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Regresjonens standardavvik Regresjonens standardavvik måler spredningen av de faktiske data omkring den estimerte regresjonslinjen. der k = antall uavhengige variabler I vårt eksempel er Se = 20,421 Dette er nyttig hvis vi skal lage prediksjoner... BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Et tilnærmet prediksjonsintervall Et tilnærmet 95% prediksjonsintervall for en ny verdi til Y når X1=X1h kan finnes ved : der: Eksempel: Hvis $65(000) brukes på reklame: 95% nedre prediksjonsintervall = 397,092 - 2*20,421 = 356,250 95% øvre prediksjonsintervall = 397,092 + 2*20,421 = 437,934 Hvis vi bruker $65 000 i reklame kan vi være omtrent 95% sikre på at virkelig omsetning vil ligge mellom $356 250 og $437 934. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Et eksakt prediksjonsintervall Et (1-a)% prediksjonsintervall for en ny verdi på Y når X1=X1h finnes ved : der: BØK350 OPERASJONSANALYSE Rasmus Rasmussen

t-Tabell BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Et eksempel Hvis $65(000) brukes til reklame: 95% nedre prediksjonsintervall = 397,092 - 2,306*21,489 = 347,556 95% øvre prediksjonsintervall = 397,092 + 2,306*21,489 = 446,666 Hvis vi bruker $65 000 på reklame kan vi være 95% sikre på at faktisk omsetning vil være mellom $347 556 og $446 666. Dette intervallet er bare omtrent $20 000 større enn det tilnærmede beregnet tidligere, men er mye vanskeligere å beregne. Den ekstra nøyaktigheten er ikke bestandig verd bryet. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Sammenligning av prediksjonsintervall-teknikker BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Prediksjonsintervall i Excel BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Konfidensintervall for gjennomsnittet Et (1-a)% konfidensintervall for det virkelige gjennomsnittet for Y når X1=X1h er gitt ved : der: BØK350 OPERASJONSANALYSE Rasmus Rasmussen

En kommentar til ekstrapolering Prediksjoner basert på en estimert regresjonsligning vil ha liten eller ingen gyldighet hvis verdier til den uavhengige variabelen er langt utenfor det intervall som regresjonsanalysen er basert på. (Dvs. Når X gis en verdi som er mye mindre eller større enn de verdier som finnes i datasettet.) BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Regresjonens gyldighetsområde Konfidensintervall Regresjonslinje X BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Regresjonsresultatene i Excel BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Multippel Regresjonsanalyse Mange regresjonsanalyser omfatter mer enn én uavhengig variabel (dvs. har mange forklaringsvariabler). Hvis hver uavhengig variabel varierer lineært med Y, så vil den estimerte regresjonsfunksjonen være : De optimale verdiene bj kan fortsatt finnes ved å minimere ESS. Resultatet er en funksjon som tilpasser et hyperplan til datautvalget. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Eksempel på regresjonsplan for to uavhengige variabler Y * * * * * * * * * * * * * * * * * * * * * * * X2 X1 BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Multippel regresjonsanalyse: Eiendomstakst En eiendomsmegler ønsker å lage en modell til hjelp ved fastsettelsen av en nøytral markedsverdi av eneboliger. Tre uavhengige variabler vil bli brukt for å estimere salgsverdien på et hus : Totalt flateinnhold Antall soverom Størrelse på garasjen BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Datagrunnlag BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Scatter plots BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Valg av regresjonsmodell Vi ønsker å finne den enkleste modellen som gir tilstrekkelig forklaring av den systematiske variasjonen i Y variabelen. Vilkårlig bruk av alle uavhengige variabler kan resultere i overtilpassing. Et utvalg gjenspeiler karakteristika: Representative for populasjonen Spesifikk for utvalget Vi ønsker å unngå å tilpasse regresjonen til utvalgsspesifikke karakteristika – dvs. overtilpasse modellen. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Modeller med én uavhengig variabel Med tanke på enkelhet, kan vi foreta regresjonsanalyse av følgende tre modeller: Flateinnhold Garasjer Soverom De viktigste regresjonsresultatene er: Modellen basert på X1 forklarer 87% av variasjonen i Y, resterende 13% er uforklart. Variabler i modellen R2 Justert R2 Se Parameter Estimater X1 0,870 0,855 10,299 b0=9,503, b1=56,394 X2 0,759 0,731 14,030 b0=78,290, b2=28,382 X3 0,793 0,770 12,982 b0=16,250, b3=27,607 BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Evaluering av modellen Større enn 5%. Ikke signifikant forskjellig fra 0. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Viktig programvarebegrensing Ved bruk av mer enn én uavhengig variabel, må alle X-variablene være plassert i ett sammenhengende område av celler. Dvs. X-variablene må ligge i tilgrensende kolonner. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Modeller med to forklaringsvariabler Anta at vi kjører regresjonsanalysen for følgende to modeller: Flateinnhold + Garasjer Flateinnhold + Soverom De viktigste regresjonsresultatene er: Modellen basert på X1 og X2 forklarer 93,9% av variasjonen i Y, resterende 6,1% er uforklart. Variabler i modellen R2 Justert R2 Se Parameter Estimater X1 0,870 0,855 10,299 b0=9,503, b1=56,394 X1 & X2 0,939 0,924 7,471 b0=27,684, b1=38,576 b2=12,875 X1 & X3 0,877 0,847 10,609 b0=8,311, b1=44,313 b3=6,743 BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Justert R2 Etter hvert som nye uavhengige variabler tilføyes i modellen: R2 (determinasjonskoeffisienten) kan bare øke. Justert-R2 kan øke eller minke. R2 kan økes kunstig ved å legge til en hvilken som helst ny uavhengig variabel. Vi kan sammenligne justert-R2 verdier som en heuristikk (brukbar forenkling) for å avgjøre om en ny uavhengig variabel har vært til hjelp i å forbedre regresjonsmodellen. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Multikolineæritet Det bør ikke overraske at å legge til X3 (antall soverom) til modellen med X1 (total grunnflate) ikke utgjorde noen signifikant forbedring. Begge variablene representerer det samme (eller lignende forhold) – størrelsen på huset. Disse X-variablene er sterkt korrelert (kolineære). Multikolineæritet bør unngås. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Modell med tre forklaringsvariabler Anta at vi foretar regresjonsanalyse med følgende modell med tre forklaringsvariabler: Flateinnhold + Garasjer + Soverom De viktigste regresjonsresultatene er: Modellen basert på X1 og X2 synes å være best: - Størst justert-R2 - Lavest Se (mest presise prediksjonsintervall) Variabler i modellen R2 Justert R2 Se Parameter Estimater X1 0,870 0,855 10,299 b0=9,503, b1=56,394 X1 & X2 0,939 0,924 7,471 b0=27,684, b1=38,576, b2=12,875 X1, X2 & X3 0,943 0,918 7,762 b0=26,440, b1=30,803, b2=12,567, b3=4,576 BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Evaluering av modellen Skifter fortegn. Ikke signifikant forskjellig fra 0. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Residual Plots BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Foreta prediksjoner La oss estimere salgsprisen for et hus på 2100 m2 og med 2 garasjer (husk tall i 1000, unntatt garasje og soverom): Estimert gjennomsnittlig salgspris er $134 444. Et 95% prediksjonsintervall for faktisk salgspris er omtrent: 95% nedre prediksjonsintervall = 134,444 - 2*7,471 = $119,502 95% øvre prediksjonsintervall = 134,444 + 2*7,471 = $149,386 BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Binære forklaringsvariabler Andre typer ikke-kvantifiserbare faktorer kan inkluderes i analysen ved å bruke binærvariabler. Eksempel: Om det finnes et svømmebasseng: Eksempel: Hvorvidt taket er i god, gjennomsnittlig eller dårlig forfatning, BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Polynomisk Regresjon Noen ganger er sammenhengen mellom en avhengig og uavhengig variabel ikke lineær. Grafen antyder en kvadratisk sammenheng mellom flatemål (X) og salgspris (Y). BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Regresjonsmodellen En passende regresjonsmodell i dette tilfellet kan være : Eller ekvivalent: Der: BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Implementere modellen BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Graf i Excel BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Graf med estimert kvadratisk regresjonsfunksjon BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Tilpasse en tredje ordens polynomisk modell Vi kan på samme måte tilpasse en tredje ordens polynomisk modell, Eller ekvivalent: Der: BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Graf med estimert tredje ordens polynomisk regresjonsfunksjon BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Ikke signifikant forskjellig fra 0 ved 5% signifikansnivå. Signifikant modell ? Ikke signifikant forskjellig fra 0 ved 5% signifikansnivå. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Overtilpassing Ved tilpassing av polynomiske modeller, må en være forsiktig for å unngå overtilpassing. Den justerte-R2 kan også brukes for å undersøke overtilpassing. Vi kan dessuten få problemer med multikolineæritet. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Regresjon - Tilpasse en funksjon Velg modell – lag en regresjonsligning: Y = b0 + b1X1 + .... (Forklar også med ord!) Plott dataene (scatterplot). Lineær funksjon? Foreta regresjonsanalyse: Er modellen ”god” ? (Sjekk R2) Er koeffisientene signifikante (Sjekk p)? Hvis ikke signifikant modell, gå tilbake til trinn 1. Foreta prediksjoner. Lag konfidensintervall. Kan bruke TREND() for å lage prediksjoner. BØK350 OPERASJONSANALYSE Rasmus Rasmussen

Slutt på kapittel 9 BØK350 OPERASJONSANALYSE Rasmus Rasmussen