Kunstig intelligens (IT-2702) - høst 2006. Forelesning 10 Emner: Maskinlæring – symbolorientert - Induktiv symbol-prosessering - Læring i versjonsrom Tolking.

Presentasjon om: "Kunstig intelligens (IT-2702) - høst 2006. Forelesning 10 Emner: Maskinlæring – symbolorientert - Induktiv symbol-prosessering - Læring i versjonsrom Tolking."— Utskrift av presentasjonen:

1 Kunstig intelligens (IT-2702) - høst 2006. Forelesning 10 Emner: Maskinlæring – symbolorientert - Induktiv symbol-prosessering - Læring i versjonsrom Tolking av naturlig språk - Kontekst-frie gramatikker Subsymbolske metoder (1) - Nevrale nett - Perceptron

2 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Fig 14.1A blocks world, adapted from Winograd (1972). 2

3 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 To manage this complexity, linguists have defined different levels of analysis for natural language: 3

4 Tolkning av naturlig språk (NL) Fonologistudie av lydene (fonemene) som bygger ord Morfologistudie av komponentene (morfemene) som bygger opp ord Syntaksstudie av kombinasjon av ord i gramatikalsk lovlige setninger Semantikkstudie av ords og setningers mening Pragmatikkstudie av språks bruk og effekter i praksis

5 Trinn i (datamaskin-basert) språktolkning Setningstruktur analyse (parsing) - syntaktisk struktur, genererer et ”parse-tree” Semantisk tolkning - ords og kombinerte ords mening, representert i en eller annen KR-formalisme Kontekstuell tolkning - utvidet semantisk tolkning, resonnering ved bruk av en kunnskapsbase av verdens/domene-kunnskap

6 Basis-begreper Gramatikk-regler S = NP VP NP = N NP = A N N = man N = dog A = a A = the Ikke-terminaler er lingvistiske termer (setning, verb, …) - f. eks. 3 øverste linjer over Terminaler er ord i språket - f. eks. 4 nederste linjer over

7 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Fig 14.3Parse tree for the sentence “The man bites the dog.” 5

8 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Fig 14.2 Stages in producing an internal representation of a sentence. 4

9 Chomsky-hierarkiet Rekursivt tellbare språk - frie produksjons-regler Kontekst-sensitive språk - flere ikke-terminaler på venstre side (men færre enn på høyre siden) av gram.regel Kontekst-frie språk - transisjonsnett, sammenkoblede tilstandsmaskiner, kun én ikke-terminal på venstresiden av gram.regel Regulære språk - en enkelt tilstandsmaskin, ikke flere sammenkoblet

10 Hva er læring? Any process by which a system improves performance (H. Simon) Making useful changes in our minds (M. Minsky) The organisation of experience (M. Scott) Constructing or modifying representations of what is being experienced (R. Michalski) Maskinlæring

11 Hva er maskinlæring? Metoder og teknikker som gjør datasystemer i stand til selv å oppdatere sin kunnskap og problemløsnings-evne

12 Hvorfor maskinlæring? Modellere menneskers læring Studere læring og intelligens som fenomen Automatisere utvikling av kunnskapsbaserte systemer det siste er mest vektlagt i dette kurset

13 Maskinlæring - kort historikk Nevrale modeller, Rosenblatt’s PERCEPTRON, Selvorganiserende systemer, Adaptive systemer, Læring som mønstergjenkjenning, Parameterjustering Samuel’s Checkers Player Kunnskapsbaserte metoder, Winston’s Analogy system, Symbolske teknikker for eksempelbasert læring, Michalski’s AQ system, Mitchell’s Version Space metode, Quinland’s ID3 system, Discovery systemer, Langley’s BACON, Lenat’s AM. Kunnskapsrike metoder, Buchanan’s Meta-Dendral, læring ved instruksjon, Davis’ Teresias, Ny giv for nevrale modeller, Forklaringsbasert læring (EBL), læring under problemløsning, case-basert læring, integrerte læremetoder Kunstig liv, Statistiske metoder, Data mining, Induktiv logikk-programmering, Genetiske algoritmer, Reinforcement læring, Bayesianske nett Integrerte læringsmetoder, læring under problemløsing 1950 1960 1970 1980 1990 2000

14 Maskinlæringmetoder kan klassifiseres utifra flere perspektiver Grad av selvlæring - pugging (rote learning) - instruksjon - læring ved eksempler - læring ved analogi - læring ved oppdagelse Læringsmål - begrepslæring - problemløsning - situasjonsforståelse - produsere forklaringer Grad av bakgrunnskunnskap - kunnskapsfattige metoder - kunnskapsrike metoder Representasjonsspråk - attributt-verdi vektor - beslutningstrær - regler - predikatlogiske uttrykk - semantiske nett, rammer Grad av lærerstyring - veiledet læring - ikke-veiledet læring - lærlingteknikker Grad av inkrementalitet - alle eksempler samtidig - inkrementell læring - læring gjennom problemløsing

15 Fig 10.1A general model of the learning process Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 2

16 Fig 10.2Examples and near misses for the concept “arch.” Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 3

17 Fig 10.3generalization of descriptions to include multiple examples. Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 4

18 Fig 10.3 generalization of descriptions to include multiple examples (cont’d) Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 5

19 Fig 10.4Specialization of a description to exclude a near miss. In 10.4c we add constraints to 10.4a so that it can’t match with 10.4b. Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 6

20 Eksempelbasert læring Generaliserings- basert læring: Instans- basert læring: - + + - + + - - - - - + + + -- -- - + + + + - - - + + + - +++++ - - - - - + - - - - - + + - - + + - + + eksempler hypoteser kandidater begrep - + + - + + - - - - - + + + -- -- - + + + + - - - + + + - +++++ - - - - - + - - - - - + + - - + + - + + eksempler - + - + - - + + - - + - + - + + - - + - - + - - + - + eksempler instansrommet:begrepsrommet:

21 Generality Lattice - Example (blue circle)(red circle) (? circle)(red ?)(blue ?)(? square) (red square)(blue square) (? ?) Generalisert-basert læring

22 Example, basic method: Version Space The version space is the set of all generalizations which are consistent with all of the examples It is described by the S and G sets: S is a generalization which is consistent with the examples and no other consistent generalization is more specific than it G is a generalization which is consistent with the examples and no other consistent generalization is more general than it

23 Version Space G S consistent generalizations more general more specific + examples move S up - examples move G down

24 Fig 10.5A concept space. Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 7

25 Defining specific to general search, for hypothesis set S as: Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 8

26 In this algorithm, negative instances lead to the specialization of candidate concepts; the algorithm uses positive instances to eliminate overly specialized concepts. Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 9

27 Fig 10.6The role of negative examples in preventing overgeneralization. Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 10

28 Fig 10.7Specific to gerneral search of the version space learning the concept “ball.” Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 11

29 The algorithm specializes G and generalizes S until they converge on the target concept. The algorithm is defined: Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 12

30 Fig 10.8General to specific search of the version space learning the concept “ball.” Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 13

31 Fig 10.9The candidate elimination algorithm learning the concept “red ball.” Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 14

32 Fig 10.10 Converging boundaries of the G and S sets in the candidate elimination algorithm. Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 15

33 Kandidateliminerings-algoritmen (Versjonsrom-algoritmen) S summerer info fra de positive exempler G summerer info fra de negative exempler Når S=G er begrepet lært - dvs. flere eksempler tilfører ikke noe nytt Ikke nødvendig å ta vare på enkelteksemplene

34 Kandidateliminerings-algoritmen (Versjonsrom-algoritmen) er en prinsipielt sterk læringsalgoritme - garanterer konsistens - er inkrementell men har store begrensninger i representasjonens uttrykkskraft - dvs. i hva som kan læres - kun konjunktive uttrykk - over-ivrig generalisering (mister muligheter)

35

36

37

38 Emne: Biologisk-baserte modeller (subsymbolske metoder) Nevrale nett - Biologisk basis - Perceptron

39 har teknologisk perspektiv har metoder STUDIE AV INTELLIGENTE SYSTEMER RELATERT TIL KOMPUTASJONELLE PROSESSER REALISERE DATASYSTEMER SOM KAN SIES Å OPPVISE INTELLIGENT ADFERD - DVS. ' SMARTERE ' SYSTEMER KUNNSKAPSBASERTE METODER ADFERDSORIENTERTE METODER SUBSYMBOLSKE METODER KOGNITIV PSYKOLOGI FILOSOFI bygger bl.a. på MATEMATIKK BIOLOGI KUNSTIG INTELLIGENS (AI) har vitenskapelig perspektiv er koblet via empirisk vitenskapelig metode INFORMATIKK er delfelt av (Fra første forelesning)

40 SUBSYMBOLSKE METODER NEVRALE NETT Distribuert representasjon i et nettverk av noder koblet sammen via lenker (konneksjonisme). Ingen eksplisitt, direkte representasjon av begreper og sammenhenger. GENETISKE ALGORITMER Representasjon i form av bit-strenger som maniplueres vha. genetiske operatorer. Bit-strengene kan representere begreper, men ikke nødvendigvis.

41 Kunstige Nevrale nett (ANN) Alternativt AI-paradigme til kunnskaps- baserte systemer Distribuert - ikke-eksplisitt - representasjon er det mest typiske, men NN trenger ikke være det (lokalistiske nettverk) Kunnskapsrepresentasjons-hypotesen og fysisk-symbol-system hypotesen gjelder ikke for rene NN systemer Relaterte begreper: - Konneksjonsisme - Parallell distribuert prosessering (PDP)

42 Biologisk bakgrunn (løs): Et nettverk av nerveceller Cell body

43 NEVRALE NETT - struktur og læringsprinsipp Et nettverk av noder delvis koblet i sammen via lenker. Lenkene som går inn til en node kan medføre at noden aktiveres, som igjen medfører at lenken ut fra noden gis en verdi. En node i nettet: Aktiveringsverdien for en node (o) bestemmes av en aktiveringsfunksjon (f) der styrken på inn-lenkene (x..) samt av vektingen av hver av dem (w..) er input-parametre. Nevrale nett trenes opp ved at inndata gis inn, utdata registreres og avvikende resultatet tilbakeføres til nettet slik at vektene på lenkene blir justert ”i riktig retning” x1 x2 x4 x3 w1 w2 w3 w4 o f

44 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Fig 11.1An artificial neuron, input vector x i, weights on each input line, and a thresholding function f that determines the neuron’s output value. Compare with the actual neuron in fig 1.2 2

45 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Fig 11.2McCulloch-Pitts neurons to calculate the logic functions and and or. 3

46 Perceptron - enkelt-lags nett - binære input- og aktiverings-verider (-1 +1) - vekter er reelle tall - aktiveringsfunksjonen er er en trappe-terskelfunksjon - lærings-regel for å oppdatere vektene: w i = w i + c(d - o)x i w i = w i + c(d - sign(sum i x i w i ))x i - konvergerer hviss input-verdiene danner lineært separerbare klasser

47 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Table 11.1 The McCulloch-Pitts model for logical and. 4

48 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Table 11.2 The truth table for exclusive-or. 5

49 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Fig 11.3The exclusive-or problem. No straight line in two-dimensions can separate the (0, 1) and (1, 0) data points from (0, 0) and (1, 1). 6

50 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Fig 11.4A full classification system. 7

51 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Table 11.3 A data set for perceptron classification. 8

52 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Fig 11.5A two-dimensional plot of the data oints in Table 11.3. The perceptron of Section 11.2.1 provides a linear separation of the data sets. 9

53 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Fig 11.6The perceptron net for the example data of Table 11.3. The thresholding function is linear and bipolar (see fig 11.7a) 10

54

55

56

57 Luger: Artificial Intelligence, 5 th edition. © Pearson Education Limited, 2005 Fig 11.7Thresholding functions. 11