Operasjonsanalytiske emner

Presentasjon om: "Operasjonsanalytiske emner"— Utskrift av presentasjonen:

1 Operasjonsanalytiske emner
Del 23 Forecasting 2 - Metodevalg Prognosemodeller basert på Tidsserieanalyse BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

2 Bruk av tidsserieanalyse
Det finnes veldig, veldig mange forskjellige tidsserieanalysemetoder. Det er vanligvis umulig å vite hvilken teknikk som vil passe best for et bestemt datasett. Som regel prøves flere forskjellige teknikker, for å velge ut den som synes å passe best. For å lage effektive tidsseriemodeller, må en ha flere forskjellige metoder i ”verktøyboksen”. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

3 Valg av prediksjonsmetoder
Stasjonære data: Naiv metode (siste observasjon, etc.) Gjennomsnittsmetoder Glidende gjennomsnitt Eksponensiell glatting ARMA (AutoRegressive Moving Average) BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

4 Valg av prediksjonsmetoder
Data med trend: Dobbelt glidende gjennomsnitt Holt’s eksponensiell glatting Enkel regresjon Vekstkurver Eksponensielle modeller ARIMA (AutoRegressive Integrated Moving Average) BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

5 Valg av prediksjonsmetoder
Data med sesongvariasjoner: Klassisk dekomponering Census X-12 Winter’s eksponensiell glatting Multippel regresjon ARIMA (AutoRegressive Integrated Moving Average) BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

6 Valg av prediksjonsmetoder
Data med sykluser: Klassisk dekomponering Økonomiske indikatorer Økonometriske modeller Multippel regresjon ARIMA (AutoRegressive Integrated Moving Average) BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

7 Momenter ved prognosevalg
Tidshorisonten for prognosene: På kort og mellomlang sikt kan kvantitative tidsserieanalyser gi gode prediksjoner. Gjennomsnitt, glidende gjennomsnitt, dekomponering og eksponensiell glatting er metoder velegnet på kort og mellomlang sikt. Økonometriske metoder er bedre til å forutse økonomiske vendepunkt. Kvalitative metoder brukes for langsiktige prognoser. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

8 Momenter ved prognosevalg
Tidshorisonten for forberedelsene: Når prognosene må utarbeides på kort varsel trengs det enkle metoder. Gjennomsnitt, glidende gjennomsnitt, dekomponering og eksponentiell glatting, samt regresjon er metoder som er raske å utarbeide. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

9 Momenter ved prognosevalg
Presentasjon av prognosene: Når prognosene skal forklares for beslutningstakerne, er det en fordel å benytte metoder som er lett å forstå. Gjennomsnitt, glidende gjennomsnitt, dekomponering og eksponentiell glatting, samt regresjon er metoder som er enkle å forklare. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

10 Forskjellige prediksjonsmodeller
Data Modeller som tillater skift i nivå/trend/sesong Stasjonære data Konstant nivå med tilfeldige variasjoner Glidende gjennomsnitt Veid glidende gjennomsnitt Eksponensiell glatting Sesong Konstant nivå med sykliske variasjoner Eksponensiell glatting / additiv sesong Eksponensiell glatting / multiplikativ sesong Trend Langsiktig generell endring i nivå Dobbelt glidende gjennomsnitt Holt’s metode (dobbel eksponensiell glatting) Trend & Sesong Holt-Winter med additiv sesong Holt-Winter med multiplikativ sesong BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

11 Alternative modeller Pegel’s klassifikasjon Trend Sesongkomponent
Ingen Additiv Multiplikativ A-1 A-2 A-3 B-1 B-2 B-3 C-1 C-2 C-3 BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

12 Oppdeling av dataserien
Initialserie. Første del av dataserien benyttes for å beregne startverdier for parameterne i modellen. Tilpassingsserie. Andre del av dataserien benyttes for å tilpasse gode verdier for parameterne – slik at feilene blir minst mulig. Testserie. Siste del av dataserien benyttes til blindtest, der man tester hvor god modellen er. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

13 Måle prediksjonsfeil Notasjon ved prognoser:
Yt = verdi av tidserie på tidspunkt t Ŷt = predikert verdi for tidspunkt t et = Yt - Ŷt = prediksjonsfeil på tidspunkt t Residualen (prediksjonsfeilen) er differansen mellom faktisk og predikert verdi. Vi trenger et mål for å sammenligne hvordan forskjellige tidsseriemodeller passer til dataene. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

14 Mål på nøyaktighet Ulike mål som indikerer hvor godt forskjellige tidsseriemodeller passer til dataene. Fire av de vanligste målene er: mean absolute deviation, mean absolute percent error, the mean square error, root mean square error. Vi vil fokusere på MSE. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

15 Alternative feilmål - ME
Gjennomsnittsfeil (Mean Error) ME: En stor svakhet er at positive og negative avvik nøytraliserer hverandre. Nyttig som indikator på om prognosen har ”bias”; dvs. ensidig predikerer lavt/høyt. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

16 Alternative feilmål - MPE
Gjennomsnittlig %-vis feil (Mean Percentage Error) MPE: Styrke og svakhet som ME. Uavhengig av enhet på variabelen (%), kan sammenligne forskjellige tidsserier. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

17 Alternative feilmål - MAD
Gjennomsnittlig absolutt feil (Mean Absolute Error/Deviation) MAE/MAD: Unngår at positive og negative avvik nøytraliserer hverandre. Avhengig av enhet på tidsserien. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

18 Alternative feilmål - MAPE
Gjennomsnittlig absolutt prosentvis feil (Mean Absolute Percentage Error) MAPE: Styrke og svakhet som MAE/MAD. Uavhengig av enhet på variabelen (%), kan sammenligne forskjellige tidsserier. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

19 Alternative feilmål - MSE
Gjennomsnittlig kvadrert feil (Mean squared Error) MSE: Som MAD, men vektlegger store avvik mer enn små. Enhet som tidsserie2. (Som varians) BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

20 Alternative feilmål - RMSE
Kvadrat av gjennomsnittlig kvadrert feil (Root Mean squared Error) RMSE: Som MSE, men enhet som tidsserien. Samme tolking som standardavvik. Alle feilmål: Små verdier bedre enn store. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

21 Alternative feilmål - U
Theil’s U: U = 0: Modellen predikerer perfekt. U < 1: Modellen predikerer bedre enn naiv metode. U > 1: ”Ingen endring”-modell bedre enn denne. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

22 Bruk av feilmål Evaluere forskjellige prediksjonsmodeller på samme tidsserie (velge best metode): MAD; MAPE; MSE; RMSE og Theil’s U Evaluere forskjellige prediksjonsmodeller på forskjellige tidsserier (sammenligne prognoser): MAPE og Theil’s U (Begge uavhengig av enhet) Evaluere om prediksjonene er skjeve: ME; MPE Positive verdier  konsekvent underestimering BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

23 En kommentar til bruk av feilmål
En bør være på vakt når en sammenligner MSE verdier for forskjellige prediksjonsteknikker/modeller. Den minste MSE kan være resultatet av en metode som passer gamle data meget godt men gjenspeiler nye data dårlig. Noen ganger er det klokt å beregne MSE kun for de seneste observasjonene. Sammenlign MSE for samme perioder. Bør bruke blindtest ! BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

24 Fornuftig bruk av feilmål
Feilmålene brukes for å se hvor godt en metode tilpasser seg historiske data. For å velge mellom ulike metoder, bør en foreta en blindtest – lage prognoser for perioder der modellen ikke får se dataene. En velger så den metoden som har minst feil i blindtesten. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

25 Prediksjonsprosessen
Del inn tidsserien: Initialserie Tilpassingsserie Testserie (blindtest) Beregn startverdier i initialserien. Foreta tilpassinger i tilpassingsserien Finn gode verdier på modellparameterne Foreta prognoser i testserien. (Test ulike modeller.) Velg den prognosemetode som er best i blindtesten: Oppdater modellen (Tilpassingsserien inkluderer nå også det som var testserien.) Finn nye gode verdier på modellparameterne. Lag prognose for den ukjente framtiden. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

26 Bedre prognoser om vi bare baserte oss på blindtesten?
Dilemma Velger den modellen som, når den framskriver mønsteret fra tilpassingserien, passer best i blindtesten. Prognoser n blindtest tilpassingserie 1 Bedre prognoser om vi bare baserte oss på blindtesten? t nå Metoden som passer best i blindtesten vil ikke garantert gi best prognose for framtiden. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

27 Adekvat metode? Før en velger prediksjonsmetode, må en sjekke om modellen passer dataene: Er residualene tilfeldig, eller finnes det fortsatt mønster i feilleddene? Er residualene tilnærmet normalfordelt? Har alle estimerte parametre signifikante t-verdier? Er metoden enkel å bruke og forklare? BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

28 BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen