Operasjonsanalytiske emner Del 23 Forecasting 2 - Metodevalg Prognosemodeller basert på Tidsserieanalyse BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Bruk av tidsserieanalyse Det finnes veldig, veldig mange forskjellige tidsserieanalysemetoder. Det er vanligvis umulig å vite hvilken teknikk som vil passe best for et bestemt datasett. Som regel prøves flere forskjellige teknikker, for å velge ut den som synes å passe best. For å lage effektive tidsseriemodeller, må en ha flere forskjellige metoder i ”verktøyboksen”. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Valg av prediksjonsmetoder Stasjonære data: Naiv metode (siste observasjon, etc.) Gjennomsnittsmetoder Glidende gjennomsnitt Eksponensiell glatting ARMA (AutoRegressive Moving Average) BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Valg av prediksjonsmetoder Data med trend: Dobbelt glidende gjennomsnitt Holt’s eksponensiell glatting Enkel regresjon Vekstkurver Eksponensielle modeller ARIMA (AutoRegressive Integrated Moving Average) BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Valg av prediksjonsmetoder Data med sesongvariasjoner: Klassisk dekomponering Census X-12 Winter’s eksponensiell glatting Multippel regresjon ARIMA (AutoRegressive Integrated Moving Average) BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Valg av prediksjonsmetoder Data med sykluser: Klassisk dekomponering Økonomiske indikatorer Økonometriske modeller Multippel regresjon ARIMA (AutoRegressive Integrated Moving Average) BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Momenter ved prognosevalg Tidshorisonten for prognosene: På kort og mellomlang sikt kan kvantitative tidsserieanalyser gi gode prediksjoner. Gjennomsnitt, glidende gjennomsnitt, dekomponering og eksponensiell glatting er metoder velegnet på kort og mellomlang sikt. Økonometriske metoder er bedre til å forutse økonomiske vendepunkt. Kvalitative metoder brukes for langsiktige prognoser. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Momenter ved prognosevalg Tidshorisonten for forberedelsene: Når prognosene må utarbeides på kort varsel trengs det enkle metoder. Gjennomsnitt, glidende gjennomsnitt, dekomponering og eksponentiell glatting, samt regresjon er metoder som er raske å utarbeide. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Momenter ved prognosevalg Presentasjon av prognosene: Når prognosene skal forklares for beslutningstakerne, er det en fordel å benytte metoder som er lett å forstå. Gjennomsnitt, glidende gjennomsnitt, dekomponering og eksponentiell glatting, samt regresjon er metoder som er enkle å forklare. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Forskjellige prediksjonsmodeller Data Modeller som tillater skift i nivå/trend/sesong Stasjonære data Konstant nivå med tilfeldige variasjoner Glidende gjennomsnitt Veid glidende gjennomsnitt Eksponensiell glatting Sesong Konstant nivå med sykliske variasjoner Eksponensiell glatting / additiv sesong Eksponensiell glatting / multiplikativ sesong Trend Langsiktig generell endring i nivå Dobbelt glidende gjennomsnitt Holt’s metode (dobbel eksponensiell glatting) Trend & Sesong Holt-Winter med additiv sesong Holt-Winter med multiplikativ sesong BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Alternative modeller Pegel’s klassifikasjon Trend Sesongkomponent Ingen Additiv Multiplikativ A-1 A-2 A-3 B-1 B-2 B-3 C-1 C-2 C-3 BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Oppdeling av dataserien Initialserie. Første del av dataserien benyttes for å beregne startverdier for parameterne i modellen. Tilpassingsserie. Andre del av dataserien benyttes for å tilpasse gode verdier for parameterne – slik at feilene blir minst mulig. Testserie. Siste del av dataserien benyttes til blindtest, der man tester hvor god modellen er. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Måle prediksjonsfeil Notasjon ved prognoser: Yt = verdi av tidserie på tidspunkt t Ŷt = predikert verdi for tidspunkt t et = Yt - Ŷt = prediksjonsfeil på tidspunkt t Residualen (prediksjonsfeilen) er differansen mellom faktisk og predikert verdi. Vi trenger et mål for å sammenligne hvordan forskjellige tidsseriemodeller passer til dataene. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Mål på nøyaktighet Ulike mål som indikerer hvor godt forskjellige tidsseriemodeller passer til dataene. Fire av de vanligste målene er: mean absolute deviation, mean absolute percent error, the mean square error, root mean square error. Vi vil fokusere på MSE. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Alternative feilmål - ME Gjennomsnittsfeil (Mean Error) ME: En stor svakhet er at positive og negative avvik nøytraliserer hverandre. Nyttig som indikator på om prognosen har ”bias”; dvs. ensidig predikerer lavt/høyt. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Alternative feilmål - MPE Gjennomsnittlig %-vis feil (Mean Percentage Error) MPE: Styrke og svakhet som ME. Uavhengig av enhet på variabelen (%), kan sammenligne forskjellige tidsserier. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Alternative feilmål - MAD Gjennomsnittlig absolutt feil (Mean Absolute Error/Deviation) MAE/MAD: Unngår at positive og negative avvik nøytraliserer hverandre. Avhengig av enhet på tidsserien. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Alternative feilmål - MAPE Gjennomsnittlig absolutt prosentvis feil (Mean Absolute Percentage Error) MAPE: Styrke og svakhet som MAE/MAD. Uavhengig av enhet på variabelen (%), kan sammenligne forskjellige tidsserier. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Alternative feilmål - MSE Gjennomsnittlig kvadrert feil (Mean squared Error) MSE: Som MAD, men vektlegger store avvik mer enn små. Enhet som tidsserie2. (Som varians) BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Alternative feilmål - RMSE Kvadrat av gjennomsnittlig kvadrert feil (Root Mean squared Error) RMSE: Som MSE, men enhet som tidsserien. Samme tolking som standardavvik. Alle feilmål: Små verdier bedre enn store. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Alternative feilmål - U Theil’s U: U = 0: Modellen predikerer perfekt. U < 1: Modellen predikerer bedre enn naiv metode. U > 1: ”Ingen endring”-modell bedre enn denne. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Bruk av feilmål Evaluere forskjellige prediksjonsmodeller på samme tidsserie (velge best metode): MAD; MAPE; MSE; RMSE og Theil’s U Evaluere forskjellige prediksjonsmodeller på forskjellige tidsserier (sammenligne prognoser): MAPE og Theil’s U (Begge uavhengig av enhet) Evaluere om prediksjonene er skjeve: ME; MPE Positive verdier  konsekvent underestimering BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

En kommentar til bruk av feilmål En bør være på vakt når en sammenligner MSE verdier for forskjellige prediksjonsteknikker/modeller. Den minste MSE kan være resultatet av en metode som passer gamle data meget godt men gjenspeiler nye data dårlig. Noen ganger er det klokt å beregne MSE kun for de seneste observasjonene. Sammenlign MSE for samme perioder. Bør bruke blindtest ! BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Fornuftig bruk av feilmål Feilmålene brukes for å se hvor godt en metode tilpasser seg historiske data. For å velge mellom ulike metoder, bør en foreta en blindtest – lage prognoser for perioder der modellen ikke får se dataene. En velger så den metoden som har minst feil i blindtesten. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Prediksjonsprosessen Del inn tidsserien: Initialserie Tilpassingsserie Testserie (blindtest) Beregn startverdier i initialserien. Foreta tilpassinger i tilpassingsserien Finn gode verdier på modellparameterne Foreta prognoser i testserien. (Test ulike modeller.) Velg den prognosemetode som er best i blindtesten: Oppdater modellen (Tilpassingsserien inkluderer nå også det som var testserien.) Finn nye gode verdier på modellparameterne. Lag prognose for den ukjente framtiden. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Bedre prognoser om vi bare baserte oss på blindtesten? Dilemma Velger den modellen som, når den framskriver mønsteret fra tilpassingserien, passer best i blindtesten. Prognoser n blindtest tilpassingserie 1 Bedre prognoser om vi bare baserte oss på blindtesten? t nå Metoden som passer best i blindtesten vil ikke garantert gi best prognose for framtiden. BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

Adekvat metode? Før en velger prediksjonsmetode, må en sjekke om modellen passer dataene: Er residualene tilfeldig, eller finnes det fortsatt mønster i feilleddene? Er residualene tilnærmet normalfordelt? Har alle estimerte parametre signifikante t-verdier? Er metoden enkel å bruke og forklare? BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen

BØK710 OPERASJONSANALYTISKE EMNER Rasmus Rasmussen