INF-MAT-5380 Lokalsøk og meta-heuristikker i kombinatorisk optimering Leksjon 1.

Presentasjon om: "INF-MAT-5380 Lokalsøk og meta-heuristikker i kombinatorisk optimering Leksjon 1."— Utskrift av presentasjonen:

1 INF-MAT-5380 Lokalsøk og meta-heuristikker i kombinatorisk optimering http://www.uio.no/studier/emner/matnat/ifi/INF-MAT5380/ Leksjon 1

2 INF-MAT 5380 - Geir Hasle - Leksjon 12 Mål med seminaret Studenten skal etter seminaret ha en grunnleggende forståelse av hvordan moderne heuristiske metoder basert på lokalsøk og metaheuristikker kan brukes for å finne approksimerte løsninger for beregningsmessig harde kombinatoriske optimeringsproblemer. Medvirkning! Diskusjon! På sikt: kurs

3 INF-MAT 5380 - Geir Hasle - Leksjon 13 Innhold Leksjoner –motivasjon –diskrete optimeringsproblemer –begrepsapparat –lokalsøk –meta-heuristikker Eksempelproblem –TSP, TSPTW, CVRP – Ryggsekkproblemet

4 INF-MAT 5380 - Geir Hasle - Leksjon 14 Tentativ plan (1) Leksjon 1 (24.11) –motivasjon –diskrete optimeringsproblemer –begrepsapparat –lokalsøk Leksjon 2 (25.11) –mer om lokalsøk –initiell løsning –strategier –tilfeldig søk Leksjon 3(26.11) –Simulert størkning m/ varianter Leksjon 4(27.11) –Tabusøk –Styrt lokalsøk (Guided Local Search) Leksjon 5(28.11) –Genetiske algoritmer

5 INF-MAT 5380 - Geir Hasle - Leksjon 15 Tentativ plan (2) Leksjon 6(1.12) –Genetiske algoritmer forts. –Evolusjonsmetoder –Øvrige populasjonsorienterte metoder Leksjon 7(2.12) –Variabelt nabolagssøk –Iterert lokalsøk –Store nabolag Leksjon 8(3.12) –Åpent Leksjon 9(4.12) –Repetisjon Muntlig eksamen(15.12-16.12)

6 INF-MAT 5380 - Geir Hasle - Leksjon 16 Litteraturliste (1) C. R. Reeves (editor): Modern Heuristic Techniques for Combinatorial Problems. ISBN 0-470-22079-1. Blackwell 1993. I.H. Osman, J.P. Kelly (editors): Meta-Heuristics: Theory & Applications. Kluwer 1996. E. Aarts, J.K. Lenstra: Local Search in Combinatorial Optimization. ISBN 0-471- 94822-5. Wiley 1997. S. Voss, S. Martello, I.H: Osman, C. Roucairol (editors): Meta-Heuristics: Advances and Trends in Local Search Paradigms for Optimization. Kluwer 1999. D. Corne, M. Dorigo, F. Glover (editors): New Ideas in Optimization. ISBN 007 709506 5. McGraw-Hill 1999. F. Glover, G.A. Kochenberger: Handbook of Metaheuristics, ISBN 0-4020-7263-5, Kluwer 2003

7 INF-MAT 5380 - Geir Hasle - Leksjon 17 Litteraturliste (2) S. Voss, D. Woodruff (eds): Optimization Software Class libraries. ISBN 1-4020-7002-0. Kluwer 2002. G. Polya: How to solve it. A New Aspect of Mathematical Method. Princeton Science Library 1957 Z. Michalewicz, D. B. Fogel: How to Solve It: Modern Heuristics. Springer. M. R. Garey, D. S. Johnson: Computers and Intractability. A Guide to the Theory of NP-Completeness

8 INF-MAT 5380 - Geir Hasle - Leksjon 18 Litteraturliste (3) M. Pirlot: General local search methods. EJOR 92 (1996) 493- 511 J. Hurink: Introduction to Local Search. Technical Note, University of Twente. M. Gendreau, J-Y. Potvin: Metaheuristics in Combinatorial Optimization. Working Paper CRT, Univ. of Montreal M. Gendreau: An Introduction to Tabu Search. CRT, July 2002

9 INF-MAT 5380 - Geir Hasle - Leksjon 19 Pensum høst 2003 Statarisk –Forelesningene –Dokumentert ved kopi av slides Kursorisk støttelitteratur: –Kapittel 1 i Reeves –Pirlot: General local search methods

10 INF-MAT 5380 - Geir Hasle - Leksjon 110 Motivasjon: Operasjonsanalyse WW-II Britiske militære Vitenskapsmenn og ingeniører fra flere fagfelt Analyse og beslutningsstøtte –Utplassering av radarstasjoner –Styring av konvoier –Bombetokter –Anti-ubåt kampanjer –Minelegging –Operational Analysis/Operations Research

11 INF-MAT 5380 - Geir Hasle - Leksjon 111 I dag: OR/Management Science ”Vitenskapelig tilnærming til beslutninger som gjelder bestemmelse om hvordan et system skal designes og opereres, vanligvis under betingelser som krever allokering av knappe ressurser” [Winston: Operations Research Applications and Algorithms]

12 INF-MAT 5380 - Geir Hasle - Leksjon 112 Operasjonsanalyse Kvantitative metoder for beslutningsstøtte Flere disipliner –matematisk modellering –optimering –sannsynlighetsregning –spillteori –køteori –simulering Diskrete optimeringsproblemer er sentrale

13 INF-MAT 5380 - Geir Hasle - Leksjon 113 Operasjonsanalyse - metode problemformulering systemobservasjon matematisk modellering verifisering prediksjon valg organisering implementering evaluering

14 INF-MAT 5380 - Geir Hasle - Leksjon 114 Eksempel: – Valg av prosjekter Du leder en stor bedrift Medarbeiderne har foreslått et antall prosjekter, hvert med kjent: –gevinst –kostnad Du har et fast budsjett Hvilke prosjekter skal du satse på for å få størst mulig gevinst? Strategisk/taktisk beslutning Optimeringsproblem Ryggsekk-problemet

15 INF-MAT 5380 - Geir Hasle - Leksjon 115 Eksempel: - Ruteplanlegging Du driver budfirma med egen bil Du har fått inn hente- og bringeoppdrag spredt rundt i byen for utførelse i morgen Hvilken rekkefølge av stopp skal du velge for å bli ferdig med runden så tidlig som mulig? Operativ beslutning Optimeringsproblem Handelsreisende-problemet

16 INF-MAT 5380 - Geir Hasle - Leksjon 116 Kunstig intelligens (Artificial Intelligence – AI) “Studiet av hvordan man får datamaskiner til å gjøre ting som mennesker for tiden er bedre til å gjøre” [Elaine Rich: Artificial Intelligence]

17 INF-MAT 5380 - Geir Hasle - Leksjon 117 Kunstig intelligens - problemstillinger spill teorembevis ekspertsystemer –medisin –design –ingeniør generell problemløsning persepsjon (kunstig syn) naturlig språkforståelse robotikk

18 INF-MAT 5380 - Geir Hasle - Leksjon 118 Kunstig intelligens Intelligens kan simuleres ved symbolmanipulerings-systemer Intelligens krever kunnskap Viktige AI-teknikker –søk –representasjon og bruk av kunnskap –abstraksjon Diskret optimering er ofte en mulig formulering for delproblemer

19 INF-MAT 5380 - Geir Hasle - Leksjon 119 Kunstig intelligens – alternativ definisjon “AI er studiet av teknikker for å løse eksponensielt harde problemer i polynomiell tid ved å utnytte kunnskap om problemdomenet” [Elaine Rich]

20 INF-MAT 5380 - Geir Hasle - Leksjon 120 Eksempel: Sjakk Du spiller sjakk med en venn Du har en god måte å vurdere stillinger på Du ønsker å se noen trekk framover for å velge et godt trekk i nåværende stilling Optimeringsproblem Diskrete valg Kombinatorisk eksplosjon Tilnærminger

21 INF-MAT 5380 - Geir Hasle - Leksjon 121 Optimeringsproblem - Matematisk formulering Beslutningsvariabl e med domener Målfunksjon Føringer (beskrankninger) Matematisk program

22 INF-MAT 5380 - Geir Hasle - Leksjon 122 Viktig spesialtilfelle: Lineærprogrammeringsproblem - LP Programmering – planlegging Kontinuerlige beslutningsvariable Målfunksjon – Objektfunksjon, objektiv – Kostnadsfunksjon – Maksimering eller minimering I LP: lineær funksjon

23 INF-MAT 5380 - Geir Hasle - Leksjon 123 LP (forts.) Føringer (beskrankninger) I LP: Lineære likheter, ulikheter

24 INF-MAT 5380 - Geir Hasle - Leksjon 124 LP på standardform n – antall beslutningsvariable m – antall føringer

25 INF-MAT 5380 - Geir Hasle - Leksjon 125 Løsning av LP Simpleksmetoden Meget effektiv i praksis Verste fall: eksponensiell tidskompleksitet Alternative metoder garanterer polynomiell vekst LP er et effektivt løsbart problem Verktøy Anvendelser Nytte

26 INF-MAT 5380 - Geir Hasle - Leksjon 126 Lineær heltallsprogrammering Blandete heltallsprogrammer (Mixed Integer Programs – MIP) Rene heltallsprogrammer (Pure Integer Programs – IP, PIP) 0-1 programmer

27 INF-MAT 5380 - Geir Hasle - Leksjon 127 (Lineær) Heltallsprogrammering Mange oppgaver i den virkelige verden kan modelleres som LP med heltallighetsføringer Diskrete valg, sekvensering, kombinatorikk, logikk Tids- og ressursplanlegging, operasjonsanalyse LP med heltallsføringer kalles Heltallsprogrammer Heltallsprogrammer er generelt langt vanskeligere å løse beregningsmessig enn ordinære LP Ofte øker regnetiden til eksakte metoder ”eksponensielt” med størrelsen av problemet

28 INF-MAT 5380 - Geir Hasle - Leksjon 128 Eksempel: Handelsreisende-problemet (TSP) Tillatt løsning: 1 2 7 3 4 5 6 1 verdi: 184 1234567 1 0181723 2 20882381732 3 173302374323 4 33734092319 5 9656 05423 6 259921523013 7 8340234377230 1 2 3 4 5 6 7

29 INF-MAT 5380 - Geir Hasle - Leksjon 129 Problemer (problemtyper) og instanser Eksempel: TSP En type av konkrete problemer (instanser) En instans er gitt ved: –n: antall byer –A: nxn-matrise av reisekostnader

30 INF-MAT 5380 - Geir Hasle - Leksjon 130 Definisjon – Diskret Optimeringsproblem Et Diskret (kombinatorisk) OptimeringsProblem (DOP) spesifiseres av et sett probleminstanser er enten et minimerings- eller maksimeringsproblem

31 INF-MAT 5380 - Geir Hasle - Leksjon 131 Definisjon – DOP-instans En DOP-instans er et par der er mengden av tillatte (interessante) løsninger og er kostnadsfunksjonen. Målet er å finne en globalt optimal løsning: (globalt) optimal kostnad (globalt) optimale løsninger

32 INF-MAT 5380 - Geir Hasle - Leksjon 132 Eksempel 1: En TSP-instans 3 byer: 1, 2,3 123 101532 21303 32170

33 INF-MAT 5380 - Geir Hasle - Leksjon 133 Eksempel 2: Ryggsekkproblem-instans En ryggsekk med kapasitet 101 10 ”artikler” (prosjekter) 1,...,10 12345678910 Verdi79324718268533404559 Størrels e 85264821229543455552

34 INF-MAT 5380 - Geir Hasle - Leksjon 134 Kommentarer DOP-definisjon S er sjelden gitt eksplisitt S ofte delmengde av brukbare løsninger i større rom av mulige løsninger (s,f(s)) sjelden gitt eksplisitt ofte kompakt representasjon av instans (kandidat)løsning ofte gitt ved verdier på beslutningsvariable (x 1,v 1 ),..., (x n,v n ) (valuering ) ofte polynomielle algoritmer for å sjekke brukbarhet (medlemskap i S) og kostnad/verdi for kandidatløsninger

35 INF-MAT 5380 - Geir Hasle - Leksjon 135 Anvendelser DOP Beslutninger der man har diskrete alternativer Synteseproblemer –planlegging –design Operasjonsanalyse, Kunstig intelligens Logistikk, design, planlegging, robotikk

36 INF-MAT 5380 - Geir Hasle - Leksjon 136 Løsningsmetoder for DOP Eksakte metoder –generer og test, eksplisitt enumrering –matematisk programmering –implisitt enumrering Approksimasjonsmetoder –med garantier –heuristikker

37 INF-MAT 5380 - Geir Hasle - Leksjon 137 Kompleksitetsteori Regnetid for en type problemer –“beste” algoritme –uansett instans –utvikling ift problemstørrelse “Eksponensiell” vekst er grusom Parallellitet og utvikling i regnekraft hjelper lite Effektiv løsbarhet knyttes til polynomielle algoritmer Verste fall, “pessimistisk” teori En instans er nok til å dømme et problem som ”ikke-effektivt løsbar”

38 INF-MAT 5380 - Geir Hasle - Leksjon 138 Kombinatorisk eksplosjon - antall rekkefølger 933262154439441526816992388856266700490715968264381621468592963895217599993229915608941463976156518286253697920827223758251185210916864000000000000000000000000 100! 3628800 10!10 6 2432902008176640000 20!10 19 304140932017133780436126081660647688443776415689660512000000000000 50!10 65 10 159

39 INF-MAT 5380 - Geir Hasle - Leksjon 139 Klasser av problemtyper Kompleksitetsklasser –P–P –NP –NP-komplett Cook’s formodning: NPC P NP Kachian (1979) Cook (1971) Karp (1972)

40 INF-MAT 5380 - Geir Hasle - Leksjon 140 Motivasjon for heuristiske løsningsmetoder for DOP Kompleksitetsteori, NP-komplette problemer Kompleksitetsteori ser på beslutningsproblemer Nær sammenheng mellom beslutningsproblem og optimeringsproblem Optimering minst like hardt som beslutning NP-komplett beslutningsproblem -> NP-hardt optimeringsproblem For NP-harde DOP fins antakelig ikke eksakt metode der regnetiden er begrenset av polynom Ulike valg –eksakt metode (enumerativ) –approksimasjonsmetode (polynomisk tid) –heuristisk metode (ingen a priori garanti) NB! Ikke alle DOP er NP-harde!

41 INF-MAT 5380 - Geir Hasle - Leksjon 141 Videre motivasjon - heuristikker I den virkelige verden: –som oftest krav til respons –er optimering kun ett aspekt –utelukker ofte problemstørrelse og responskrav eksakt optimeringsmetode p.g.a. beregningskompleksitet Heuristiske metoder robust valg –I den virkelige verden trengs ofte ikke den optimale løsning –Mennesker er ikke optimerere men “tilfredsstillere” (satisficers) Herb Simon Eksakte metoder kan være bedre valg Kulturer –matematikere vs. pragmatikere/ingeniører –OR vs. AI

42 INF-MAT 5380 - Geir Hasle - Leksjon 142 Eksakte metoder for DOP DOP har ofte et endelig antall løsninger Eksakte metoder garanterer å finne optimal løsning Responstid? Eksakte metoder er –gode for begrenset problemstørrelse –kanskje gode for de instanser som er aktuelle –ofte grunnlag for approksimasjonsmetoder –ofte gode for forenklete problemer

43 INF-MAT 5380 - Geir Hasle - Leksjon 143 Heuristikk “En teknikk som forbedrer effektiviteten til en søkeprosess, ofte ved å ofre kompletthet” Garantier for løsningskvalitet vs. tid kan sjelden gis Generelle heuristikker (f. eks. i Branch & Bound for IP) Spesielle heuristikker utnytter kunnskap om problemet Begrep innført i How to solve it [Polya 1957]. Guide for løsning av matematiske problemer

44 INF-MAT 5380 - Geir Hasle - Leksjon 144 Lokalsøk for DOP Heuristisk metode Iterativ metode Små endringer av gitt løsning Ingredienser: –Nabolag –Søkestrategi –Initiell løsning –Stoppkriterium

45 INF-MAT 5380 - Geir Hasle - Leksjon 145 Leksjon 1: Oppsummering Kursinformasjon Motivasjon –Operasjonsanalyse –Kunstig intelligens Optimeringsproblemer (diskrete) –Matematisk program –COP Definisjon DOP Anvendelser Kompleksitetsteori Eksakte metoder, approksimasjonsmetoder Heuristikker Skisse av lokalsøk

46 INF-MAT 5380 - Geir Hasle - Leksjon 146 Neste gang: Leksjon 2 Litt repetisjon Eksempler på DOP Mer om lokalsøk Begrepsdefinisjoner Hovedproblem i lokalsøk