INF-MAT-5380 Lokalsøk og meta-heuristikker i kombinatorisk optimering Leksjon 1

INF-MAT Geir Hasle - Leksjon 12 Mål med seminaret Studenten skal etter seminaret ha en grunnleggende forståelse av hvordan moderne heuristiske metoder basert på lokalsøk og metaheuristikker kan brukes for å finne approksimerte løsninger for beregningsmessig harde kombinatoriske optimeringsproblemer. Medvirkning! Diskusjon! På sikt: kurs

INF-MAT Geir Hasle - Leksjon 13 Innhold Leksjoner –motivasjon –diskrete optimeringsproblemer –begrepsapparat –lokalsøk –meta-heuristikker Eksempelproblem –TSP, TSPTW, CVRP – Ryggsekkproblemet

INF-MAT Geir Hasle - Leksjon 14 Tentativ plan (1) Leksjon 1 (24.11) –motivasjon –diskrete optimeringsproblemer –begrepsapparat –lokalsøk Leksjon 2 (25.11) –mer om lokalsøk –initiell løsning –strategier –tilfeldig søk Leksjon 3(26.11) –Simulert størkning m/ varianter Leksjon 4(27.11) –Tabusøk –Styrt lokalsøk (Guided Local Search) Leksjon 5(28.11) –Genetiske algoritmer

INF-MAT Geir Hasle - Leksjon 15 Tentativ plan (2) Leksjon 6(1.12) –Genetiske algoritmer forts. –Evolusjonsmetoder –Øvrige populasjonsorienterte metoder Leksjon 7(2.12) –Variabelt nabolagssøk –Iterert lokalsøk –Store nabolag Leksjon 8(3.12) –Åpent Leksjon 9(4.12) –Repetisjon Muntlig eksamen( )

INF-MAT Geir Hasle - Leksjon 16 Litteraturliste (1) C. R. Reeves (editor): Modern Heuristic Techniques for Combinatorial Problems. ISBN Blackwell I.H. Osman, J.P. Kelly (editors): Meta-Heuristics: Theory & Applications. Kluwer E. Aarts, J.K. Lenstra: Local Search in Combinatorial Optimization. ISBN Wiley S. Voss, S. Martello, I.H: Osman, C. Roucairol (editors): Meta-Heuristics: Advances and Trends in Local Search Paradigms for Optimization. Kluwer D. Corne, M. Dorigo, F. Glover (editors): New Ideas in Optimization. ISBN McGraw-Hill F. Glover, G.A. Kochenberger: Handbook of Metaheuristics, ISBN , Kluwer 2003

INF-MAT Geir Hasle - Leksjon 17 Litteraturliste (2) S. Voss, D. Woodruff (eds): Optimization Software Class libraries. ISBN Kluwer G. Polya: How to solve it. A New Aspect of Mathematical Method. Princeton Science Library 1957 Z. Michalewicz, D. B. Fogel: How to Solve It: Modern Heuristics. Springer. M. R. Garey, D. S. Johnson: Computers and Intractability. A Guide to the Theory of NP-Completeness

INF-MAT Geir Hasle - Leksjon 18 Litteraturliste (3) M. Pirlot: General local search methods. EJOR 92 (1996) J. Hurink: Introduction to Local Search. Technical Note, University of Twente. M. Gendreau, J-Y. Potvin: Metaheuristics in Combinatorial Optimization. Working Paper CRT, Univ. of Montreal M. Gendreau: An Introduction to Tabu Search. CRT, July 2002

INF-MAT Geir Hasle - Leksjon 19 Pensum høst 2003 Statarisk –Forelesningene –Dokumentert ved kopi av slides Kursorisk støttelitteratur: –Kapittel 1 i Reeves –Pirlot: General local search methods

INF-MAT Geir Hasle - Leksjon 110 Motivasjon: Operasjonsanalyse WW-II Britiske militære Vitenskapsmenn og ingeniører fra flere fagfelt Analyse og beslutningsstøtte –Utplassering av radarstasjoner –Styring av konvoier –Bombetokter –Anti-ubåt kampanjer –Minelegging –Operational Analysis/Operations Research

INF-MAT Geir Hasle - Leksjon 111 I dag: OR/Management Science ”Vitenskapelig tilnærming til beslutninger som gjelder bestemmelse om hvordan et system skal designes og opereres, vanligvis under betingelser som krever allokering av knappe ressurser” [Winston: Operations Research Applications and Algorithms]

INF-MAT Geir Hasle - Leksjon 112 Operasjonsanalyse Kvantitative metoder for beslutningsstøtte Flere disipliner –matematisk modellering –optimering –sannsynlighetsregning –spillteori –køteori –simulering Diskrete optimeringsproblemer er sentrale

INF-MAT Geir Hasle - Leksjon 113 Operasjonsanalyse - metode problemformulering systemobservasjon matematisk modellering verifisering prediksjon valg organisering implementering evaluering

INF-MAT Geir Hasle - Leksjon 114 Eksempel: – Valg av prosjekter Du leder en stor bedrift Medarbeiderne har foreslått et antall prosjekter, hvert med kjent: –gevinst –kostnad Du har et fast budsjett Hvilke prosjekter skal du satse på for å få størst mulig gevinst? Strategisk/taktisk beslutning Optimeringsproblem Ryggsekk-problemet

INF-MAT Geir Hasle - Leksjon 115 Eksempel: - Ruteplanlegging Du driver budfirma med egen bil Du har fått inn hente- og bringeoppdrag spredt rundt i byen for utførelse i morgen Hvilken rekkefølge av stopp skal du velge for å bli ferdig med runden så tidlig som mulig? Operativ beslutning Optimeringsproblem Handelsreisende-problemet

INF-MAT Geir Hasle - Leksjon 116 Kunstig intelligens (Artificial Intelligence – AI) “Studiet av hvordan man får datamaskiner til å gjøre ting som mennesker for tiden er bedre til å gjøre” [Elaine Rich: Artificial Intelligence]

INF-MAT Geir Hasle - Leksjon 117 Kunstig intelligens - problemstillinger spill teorembevis ekspertsystemer –medisin –design –ingeniør generell problemløsning persepsjon (kunstig syn) naturlig språkforståelse robotikk

INF-MAT Geir Hasle - Leksjon 118 Kunstig intelligens Intelligens kan simuleres ved symbolmanipulerings-systemer Intelligens krever kunnskap Viktige AI-teknikker –søk –representasjon og bruk av kunnskap –abstraksjon Diskret optimering er ofte en mulig formulering for delproblemer

INF-MAT Geir Hasle - Leksjon 119 Kunstig intelligens – alternativ definisjon “AI er studiet av teknikker for å løse eksponensielt harde problemer i polynomiell tid ved å utnytte kunnskap om problemdomenet” [Elaine Rich]

INF-MAT Geir Hasle - Leksjon 120 Eksempel: Sjakk Du spiller sjakk med en venn Du har en god måte å vurdere stillinger på Du ønsker å se noen trekk framover for å velge et godt trekk i nåværende stilling Optimeringsproblem Diskrete valg Kombinatorisk eksplosjon Tilnærminger

INF-MAT Geir Hasle - Leksjon 121 Optimeringsproblem - Matematisk formulering Beslutningsvariabl e med domener Målfunksjon Føringer (beskrankninger) Matematisk program

INF-MAT Geir Hasle - Leksjon 122 Viktig spesialtilfelle: Lineærprogrammeringsproblem - LP Programmering – planlegging Kontinuerlige beslutningsvariable Målfunksjon – Objektfunksjon, objektiv – Kostnadsfunksjon – Maksimering eller minimering I LP: lineær funksjon

INF-MAT Geir Hasle - Leksjon 123 LP (forts.) Føringer (beskrankninger) I LP: Lineære likheter, ulikheter

INF-MAT Geir Hasle - Leksjon 124 LP på standardform n – antall beslutningsvariable m – antall føringer

INF-MAT Geir Hasle - Leksjon 125 Løsning av LP Simpleksmetoden Meget effektiv i praksis Verste fall: eksponensiell tidskompleksitet Alternative metoder garanterer polynomiell vekst LP er et effektivt løsbart problem Verktøy Anvendelser Nytte

INF-MAT Geir Hasle - Leksjon 126 Lineær heltallsprogrammering Blandete heltallsprogrammer (Mixed Integer Programs – MIP) Rene heltallsprogrammer (Pure Integer Programs – IP, PIP) 0-1 programmer

INF-MAT Geir Hasle - Leksjon 127 (Lineær) Heltallsprogrammering Mange oppgaver i den virkelige verden kan modelleres som LP med heltallighetsføringer Diskrete valg, sekvensering, kombinatorikk, logikk Tids- og ressursplanlegging, operasjonsanalyse LP med heltallsføringer kalles Heltallsprogrammer Heltallsprogrammer er generelt langt vanskeligere å løse beregningsmessig enn ordinære LP Ofte øker regnetiden til eksakte metoder ”eksponensielt” med størrelsen av problemet

INF-MAT Geir Hasle - Leksjon 128 Eksempel: Handelsreisende-problemet (TSP) Tillatt løsning: verdi:

INF-MAT Geir Hasle - Leksjon 129 Problemer (problemtyper) og instanser Eksempel: TSP En type av konkrete problemer (instanser) En instans er gitt ved: –n: antall byer –A: nxn-matrise av reisekostnader

INF-MAT Geir Hasle - Leksjon 130 Definisjon – Diskret Optimeringsproblem Et Diskret (kombinatorisk) OptimeringsProblem (DOP) spesifiseres av et sett probleminstanser er enten et minimerings- eller maksimeringsproblem

INF-MAT Geir Hasle - Leksjon 131 Definisjon – DOP-instans En DOP-instans er et par der er mengden av tillatte (interessante) løsninger og er kostnadsfunksjonen. Målet er å finne en globalt optimal løsning: (globalt) optimal kostnad (globalt) optimale løsninger

INF-MAT Geir Hasle - Leksjon 132 Eksempel 1: En TSP-instans 3 byer: 1, 2,

INF-MAT Geir Hasle - Leksjon 133 Eksempel 2: Ryggsekkproblem-instans En ryggsekk med kapasitet ”artikler” (prosjekter) 1,..., Verdi Størrels e

INF-MAT Geir Hasle - Leksjon 134 Kommentarer DOP-definisjon S er sjelden gitt eksplisitt S ofte delmengde av brukbare løsninger i større rom av mulige løsninger (s,f(s)) sjelden gitt eksplisitt ofte kompakt representasjon av instans (kandidat)løsning ofte gitt ved verdier på beslutningsvariable (x 1,v 1 ),..., (x n,v n ) (valuering ) ofte polynomielle algoritmer for å sjekke brukbarhet (medlemskap i S) og kostnad/verdi for kandidatløsninger

INF-MAT Geir Hasle - Leksjon 135 Anvendelser DOP Beslutninger der man har diskrete alternativer Synteseproblemer –planlegging –design Operasjonsanalyse, Kunstig intelligens Logistikk, design, planlegging, robotikk

INF-MAT Geir Hasle - Leksjon 136 Løsningsmetoder for DOP Eksakte metoder –generer og test, eksplisitt enumrering –matematisk programmering –implisitt enumrering Approksimasjonsmetoder –med garantier –heuristikker

INF-MAT Geir Hasle - Leksjon 137 Kompleksitetsteori Regnetid for en type problemer –“beste” algoritme –uansett instans –utvikling ift problemstørrelse “Eksponensiell” vekst er grusom Parallellitet og utvikling i regnekraft hjelper lite Effektiv løsbarhet knyttes til polynomielle algoritmer Verste fall, “pessimistisk” teori En instans er nok til å dømme et problem som ”ikke-effektivt løsbar”

INF-MAT Geir Hasle - Leksjon 138 Kombinatorisk eksplosjon - antall rekkefølger ! ! ! !

INF-MAT Geir Hasle - Leksjon 139 Klasser av problemtyper Kompleksitetsklasser –P–P –NP –NP-komplett Cook’s formodning: NPC P NP Kachian (1979) Cook (1971) Karp (1972)

INF-MAT Geir Hasle - Leksjon 140 Motivasjon for heuristiske løsningsmetoder for DOP Kompleksitetsteori, NP-komplette problemer Kompleksitetsteori ser på beslutningsproblemer Nær sammenheng mellom beslutningsproblem og optimeringsproblem Optimering minst like hardt som beslutning NP-komplett beslutningsproblem -> NP-hardt optimeringsproblem For NP-harde DOP fins antakelig ikke eksakt metode der regnetiden er begrenset av polynom Ulike valg –eksakt metode (enumerativ) –approksimasjonsmetode (polynomisk tid) –heuristisk metode (ingen a priori garanti) NB! Ikke alle DOP er NP-harde!

INF-MAT Geir Hasle - Leksjon 141 Videre motivasjon - heuristikker I den virkelige verden: –som oftest krav til respons –er optimering kun ett aspekt –utelukker ofte problemstørrelse og responskrav eksakt optimeringsmetode p.g.a. beregningskompleksitet Heuristiske metoder robust valg –I den virkelige verden trengs ofte ikke den optimale løsning –Mennesker er ikke optimerere men “tilfredsstillere” (satisficers) Herb Simon Eksakte metoder kan være bedre valg Kulturer –matematikere vs. pragmatikere/ingeniører –OR vs. AI

INF-MAT Geir Hasle - Leksjon 142 Eksakte metoder for DOP DOP har ofte et endelig antall løsninger Eksakte metoder garanterer å finne optimal løsning Responstid? Eksakte metoder er –gode for begrenset problemstørrelse –kanskje gode for de instanser som er aktuelle –ofte grunnlag for approksimasjonsmetoder –ofte gode for forenklete problemer

INF-MAT Geir Hasle - Leksjon 143 Heuristikk “En teknikk som forbedrer effektiviteten til en søkeprosess, ofte ved å ofre kompletthet” Garantier for løsningskvalitet vs. tid kan sjelden gis Generelle heuristikker (f. eks. i Branch & Bound for IP) Spesielle heuristikker utnytter kunnskap om problemet Begrep innført i How to solve it [Polya 1957]. Guide for løsning av matematiske problemer

INF-MAT Geir Hasle - Leksjon 144 Lokalsøk for DOP Heuristisk metode Iterativ metode Små endringer av gitt løsning Ingredienser: –Nabolag –Søkestrategi –Initiell løsning –Stoppkriterium

INF-MAT Geir Hasle - Leksjon 145 Leksjon 1: Oppsummering Kursinformasjon Motivasjon –Operasjonsanalyse –Kunstig intelligens Optimeringsproblemer (diskrete) –Matematisk program –COP Definisjon DOP Anvendelser Kompleksitetsteori Eksakte metoder, approksimasjonsmetoder Heuristikker Skisse av lokalsøk

INF-MAT Geir Hasle - Leksjon 146 Neste gang: Leksjon 2 Litt repetisjon Eksempler på DOP Mer om lokalsøk Begrepsdefinisjoner Hovedproblem i lokalsøk