Hjelp, vi har algdat! En liten kickstart på TDT4120 Algoritmer og datastrukturer Åsmund Eldhuset

Lecturer Magnus Lie Hetland Associate Professor Currently on sick leave

Substitute lecturer Åsmund Eldhuset Computer scientist (NTNU, 2004-2009) Senior consultant at BEKK

General information The lectures will be given in Norwegian only (but are not mandatory) Textbook: Introduction to Algorithms, 3rd edition (MIT Press), by Cormen, Leiserson, Rivest, and Stein Written in English Covers almost all of the curriculum (see "Pensum" on the web page); the presentation slides from the main lectures sometimes contains additional info, which is also in the curriculum 2nd edition will mostly work too There will be a dedicated study assistant to help the English-speaking students with the exercises and other matters Please send me an email at aasmund.eldhuset@gmail.com to let me know that you want to use this study assistant The lectures only serve as a help to better understand the material; there is no information in the lectures that is not also in the textbook or on the web site

General information Course web page: http://www.idi.ntnu.no/emner/tdt4120 Exam: Saturday, December 7, 09:00 – 13:00 Feel free to contact me, after the lecture or by mail, if you have any questions. Contact Lars Greger Hagen with any questions related to the exercises: gregerlars@gmail.com

Exercises There are mandatory exercises; you must pass these in order to be allowed to take the exam There is one exercise pair each week, 13 pairs in total Theoretical exercise: multiple choice questions; gives max 50 points Practical exercise: programming; gives max 50 points You need at least 300 points from the first six exercises and at least 300 points from the last six (no, this doesn't add up – I'll ask the other staff about it) Warning: passing the exercises is significantly much easier than passing the exam! Further information will be given on the so-called exercise lectures, held each Tuesday 14:15 – 17:00 in F1 Tomorrow: Introduction to programming Python. Be there or be □!

Caveat emptor ("let the buyer beware") This is a challenging course, especially if you are not comfortable with programming The curriculum itself is extensive; it is fully possible to learn it, but it requires a lot of work and cannot be done the week before the exam The exam itself tends to ask questions in creative ways that require a deep understanding of the material Best approach: Work continuously with the course Make sure that you actually understand why the algorithms work Solve a lot of previous exams and learn how to adapt and combine existing algorithms into new ones, and to recognize exising problems formulated in new ways

Formålet med første forelesning Gi oversikt over faget Forklare kjernebegreper Forhåpentligvis gjøre det litt mindre skremmende Det er ikke meningen at denne forelesningen skal få dere til å forstå alt! Det vil gå fort i svingene Emnene vil dekkes veldig overfladisk Er dette en god idé? Det finner vi ut i dag!

Algoritmer Hva kjennetegner en algoritme? Det er en fremgangsmåte... ...for å løse... ...et problem Beskrivelsen av fremgangsmåten må: Være utvetydig Bestå av enkle steg Kreve et endelig antall operasjoner Gi korrekt resultat

Problemer og instanser Problem == Problemstilling En spesifikk utgave av en problemstilling == instans (av problem) En algoritme kan implementeres i et programmeringsspråk Man skriver et program som gjennomfører stegene i algoritmen Som input til programmet gir man en probleminstans i form av en tekstfil Programmet produserer løsningen i form av tekst-output

Pseudokode Java: public class HelloWorld { public static void main(String[] args) { System.out.println("Hello world!"); } } Pseudokode: print "Hello world!" Python: print("Hello world!") Brainfuck: ++++++++++[>+++++++>++++++++++>+++>+< <<<-]>++.>+.+++++++..+++.>++.<<++++++ +++++++++.>.+++.------.--------.>+.>.

Python Jeg anbefaler å lære seg Python og bruke det Python er veldig egnet til denne typen programmering, og koden blir mye kortere enn med Java Java: public class HelloWorld { public static void main(String[] args) { System.out.println("Hello world!"); } }

Divide and conquer / splitt og hersk (teknikk)

Mergesort / flettesortering (algoritme) 7 5 1 9 8 3 2 7 5 1 9 8 3 2 5 7 1 9 3 8 2 7 5 1 9 8 3 2 1 5 7 9 2 3 8 7 5 1 9 8 3 2 1 2 3 5 7 8 9 7 5 1 9 8 3 2

Mergesort / flettesortering (algoritme) 7 5 1 9 8 3 2 7 5 1 9 8 3 2 5 7 5 1 9 8 3 2 7 1 9 3 8 2 3 7 5 1 9 8 3 2 7 5 1 9 8 3 2

Kompleksitetsanalyse

Rekursjon og rekurrensanalyse

Heap (datastruktur)

Sortering (problemstilling)

Heapsort (algoritme)

Quicksort (algoritme)

Counting sort / tellesortering (algoritme)

Radix sort / radix-sortering (algoritme)

Bucket sort / bøttesortering (algoritme)

nth order statistics / n'te ordens statistikk (problemstilling) og algoritmer for det

Abstract data structure / abstrakt datastruktur (begrep)

Linked list / lenket liste (datastruktur)

Stack / stakk / stabel (datastruktur)

Queue / kø (datastruktur)

Priority queue / prioritetskø (datastruktur)

Tree / tre (datastruktur)

Binary tree / binærtre (datastruktur)

Hash table / hashtabell (datastruktur)

Binary search tree / binært søketre (datastruktur)

Red-black tree / rød-svart-tre (datastruktur)

Dynamic programming / dynamisk programmering (teknikk)

Dynamisk programmering-problemer

Greedy algorithms / grådige algoritmer (teknikk)

Huffman tree og Huffman coding / Huffman-tre og Huffman-koding (algoritme+ datastruktur)

Grådige problemer

B-tree / B-tre (datastruktur) Et tre hvor hver node har veldig mange barn Hver node fylles ut med barn inntil den når en fast grense (f.eks. 1000) for antall barn; da må den splittes opp i to nye noder Treet blir dermed veldig grunt, og er spesielt egnet for trær som må lagres på harddisk Harddisker er veldig treige, og leser data i store blokker av gangen – derfor er det bra å ha et grunt tre (få noder må leses inn), og det er ok at hver node har en lang barneliste

Graph / graf (datastruktur)

Representasjon av grafer

Depth first search / dybde-først-søk (algoritme)

Breadth first search / bredde-først-søk (algoritme)

Topological sort / topologisk sortering (problemstilling og algoritme)

Minimum spanning tree (problemstilling)

Kruskal's algorithm

Prim's algorithm

(One-to-all) Shortest path (problemstilling)

Dijkstra's algorithm

Bellman-Ford algorithm

DAG-shortest-paths (algoritme)

All-to-all shortest path (problemstilling)

Floyd-Warshall algorithm

Maximum flow (problemstilling)

Ford-Fulkerson method

Edmonds-Karp algorithm

Max-flow-min-cut-teoremet

Bipartite matching (problemstilling)

Multithreading / parallel algorithms

Linear programming (problemstilling) Lineærprogrammering går ut på å, gitt en lineær funksjon av flere variabler, og lineære ligninger/ulikheter med disse variablene, velge variabelverdier slik at funksjonen får størst (evt. minst) mulig verdi – uten at ligningene/ulikhetene blir brutt Eksempel: Maksimer 5x + 3y gitt at x + y ≤ 8 og 7x – 5y ≥ 3 Ligningssett av denne typen kan modellere veldig mange forskjellige problemstillinger Boken viser bl.a. hvordan shortest path og maximum flow kan løses som lineærprogrammering (selv om dette vil være veldig treigt) Men det lar oss også løse en del problemstillinger som det ikke eksisterer spesialiserte algoritmer for – blant annet multicommodity flow og matchingproblemer hvor forskjellige par har forskjellig verdi Det finnes algoritmer for dette; boken beskriver the simplex algorithm, men den er ikke pensum

Formulering av andre problemstillinger som linear programming TODO: Er dette pensum fortsatt?

Circulation (problemstilling) TODO: Er dette pensum fortsatt?

NP-kompletthet (teori)

Eksamen