KUNNSKAPSBASERTE METODER - UTVIKLINGSTRENDER Kontroll-kunnskap Heuristiske Spesifikke regler case Dyp kunnskap Integrerte systemer (f.eks. SOAR, CREEK, META-AQUA) - totalarkitekturer for intelligent problemløsning

En kritikk av kunnskapsbaserte metoder • Mennesker representerer sin kunnskap i maskinen, den kan defor ikke bli maskinens . Nyttig kritikk, men satt på spissen. Berører kunnskapsrepresentasjons-problemet generelt. - Konsekvenser for interaktive rådgivingssystemer : Utviklingsmetoder der mindre vekt legges på datamaskinen som problemløser, mer på samspillet mellom maskin og bruker. En utfordring er at systemet må ha eller bygge opp kunnskap om interaksjons-omgivelsen. - Konsekvenser for læring : Større grad av erfaringsbasert læring, der systemene lærer gradvis ved å delta i løsningen av reelle problemer i det miljø de virker. For (morgen)dagens ‘ekspertsystemer’: Fra 'tradisjonelle' problemløsende systemer til aktive, adaptive beslutningsstøtte-systemer

STATUS, KUNSTIG INTELLIGENS - O ppsummert • AI forskningen er en pådriver innen informatikk-feltet, bl.a. ved å angripe problemer som andre metoder ikke håndterer. • Ekspertsystemer er blitt en kommersiell suksess, og regelbaserte systemer er på vei inn i 'tradisjonell' databehandling. • Systemer som lærer av erfaring blir neste viktige 'gjennombrudd'. Case-baserte metoder ser lovende ut. • Alternativer til det kunnskapsbaserte paradigmet blomstrer opp: Nevrale nett, genetiske algoritmer. • Forskjellige typer anvendelser av intelligente datamaskinsystemer krever forskjellige typer 'intelligens' (dvs. fundamentalt forskjellige metoder): • Metodesettet for å bygge nyttige og brukervennlige datasystemer utvides og forbedres stadig. AI-feltet er en viktig bidragsyter til dette.

Intelligente agenter Agent = System og benyttes for å framheve systemer som vekselvirker med omgivelsene. En agent er et system som sanser , dvs. får inndata, fra en omgivelse via sensorer (inndatakanaler), og som handler i denne omgivelsen via effektorer .

Rasjonelle agenter En rasjonell agent er en agent som gjør de rette handlinger i en gitt situasjon. En handling kan være å skrive et ord på en skjerm eller å bevege en robotarm. En intelligent agent er en rasjonell agent, et system som oppfører seg rasjonelt i ulike komplekse og tildels ukjente situasjoner. : En rasjonell agent er et system som - har visse mål det skal oppnå - har kunnskap som gjør det istand til å oppnå sine mål - har metoder som anvender kunnskapen for å oppnå målene

Kunnskapsrepresentasjon - basis Kunnskapsrepresentasjon i AI vil si å representere kunnskap i et system, og for dette systemet. Det er altså det intelligente systemets kunnskap - enten dette systemet er et menneske eller en maskin. En kunnskapsrepresentasjon består derfor av en kunnskaps-struktur i et visst språk, samt en tolkning som gjør at kunnskapen får mening for den som 'eier' kunnskapen. En representasjonsmetode består av en språk-syntaks , og en underliggende semantikk definert av inferens-metoden. Uttrykkskraften av språket bestemmes av begge disse i sammen. En kunnskaps-struktur får mening ved at den gis en tolkning i den sammenhengen der den utnyttes. Kunnskapens meningsinnhold er derfor sjelden helt uavhengig av det formålet kunnskapen benyttes for og den sammenhengen den benyttes i. Hvorvidt representasjonen har den mening vi ønsker, kan testes ved å stille spørsmål til systemet.

Fundamentale Kunnskapstyper • Dyp kunnskap - fundamentale teorier, prinsipper - lærebok-kunnskap - detaljerte klasse/subklasse hierarkier - detaljerte system/komponent relasjoner - funksjonelle modeller - kausale modeller (årsak-virkning relasjoner) - forklarte situasjoner • Grunn kunnskap - erfaringregler - overflatiske sammenhenger mellom domenebegreper (klasse/subklasse, system/komponent, funksjonalitet, ...) - erfarte situasjoner

T I L S A N D R O M E p j v b ø g u k . f : • s t a r - i l n d m å e

E m : M N F I T - 2 7 K u n s t i g e l o r 4 . • S ø k y a v p P d j b r o b l e m ø s n i g d - p a k t j • P v " h f A I B c y o b l e m l ø s n i n g v i a f l e r e k u n n s k a p s k i l d e r - a g e n d a s t r u k t u r e r

RULE BASED SYSTEMS EXPERT Expert system : A knowledge-based computer program designed to model the problem-solving ability of a human expert. - Knowledge is acquired from various sources (e.g., primarily a human expert, but also books, reports, drawings, visual inspections). - Expert systems do not attempt to simulate human mental architecture, but emulate human expert's methodology and performance.

Important aspects of expert systems : - separation of control from knowledge. - modularity of knowledge - ease of expansion - ability of explanation - utilization of heuristic knowledge - utilization of uncertain knowledge

- Expert System development, is a highly iterative process . The designer partially builds the system, tests it, then modifies the system's knowledge. - This process is repeated throughout the project where the system's knowledge grow with each test. Phases in expert sytem development: Assesment Knowledge acquisition Design Documentation Maintenance Test Refinements Explorations Requirements Knowledge Structure Evaluation Product Learning

The CBR Cycle RETRIEVE REUSE RETAIN Problem Suggested Solution REVISE New Case Retrieved General Knowledge Previous Cases Suggested Solution Solved Learned REVISE Tested/ Repaired Confirmed

Case-based approaches • Instance-based reasoning/learning • Memory-based reasoning/learning • Case-based reasoning/learning (typical) • Analogical reasoning/learning

Transformational and Derivational analogy (J. Carbonell 83) - Transformational

- Derivational

CreekL Knowledge Types h i n g c a s e 3 9 1 2 7 6 r o p d m e n e r a l

Tangled CreekL Network thing domain-object case car case#54 van electrical-fault battery-fault engine-test engine test-procedure engine-fault turning-of -ignition-key test-step battery-low starter-motor engine-turns diagnostic-case diagnosis solved diagnostic-hypothesis wheel vehicle transportation hsc hp hi case-of status-of hd has-status possible-status-of tested-by has-function battery instance-of has-fault test-for goal find-fault find-treatment has-state observed-finding subclass-of car-fault fuel-system fuel-system-fault has-output described-in part-of electrical -system broken-carburettor-membrane has-engine-status starter-motor-turns N-DD-234567 has-electrical-status finding - has subclass - has-instance - has-part - has-descriptor

Example (Noemie project) - A solved case instance-of value case has-platform-name value snorre-tlp has-operator-name value saga has-country-location value n has-well-name value 34/7-p22 has-depth-of-occurrence value 5318 has-geological-formation value shetland-gp cromer-knoll-gp hegre-gp claystone-with-dolomite-stringers claystone-with-limestone-stringers sandstone mudstone has-well-section value 8.5-inch-hole has-well-section-position value in-reservoir-section has-drilling-fluid value novaplus has-task value solve-lc-problem has-activity value tripping-in circulating has-time-of-occurrence value 02.10.1996 has-observable-parameter value high-pump-pressure high-mud-density-1.41-1.7kg/l high-viscosity-30-40cp normal-yield-point-10-30-lb/100ft2 . . . . has-failure value induced-fracture-lc has-repair-activity value pooh-to-casing-shoe waited-<1h increased-pump-rate-stepwise lost-circulation-again pumped-numerous-lcm-pills no-return-obtained set-and-squeezed-balanced-cement-plug has-operators-explanation value "we tripped in and lost circulation while breaking circulation. the mud seemed unstable and barite settled probly out and tended to pack around bha. we also know that depletion lowers fracture resistance and this combined is sufficient to explain the losses. we also probably crossed faults" has-outcome value squeeze-job-acceptable has-lesson-learned value "when 138 kg/m3 course nut plug lcm was pumped to apprx. 90 m above mwd tool, a check for backflow was performed. lcm may have settled out, contributing to pl ugging mwd-tool. don't stop circulating when lcm plug is close to mwd-tool"

The Creek Explanation Engine • Goal • Goal - Appl. task is defined - Appl. task accomplished • Situation • Situation - Findings are listed - Findings explained - Constraints are specified - Constraints confirmed - Solution asked for - Solution found ACTIVATE FOCUS EXPLAIN

(d-separated) (d-connected) E If Known R A B A C If Known E B If Known OR If Known C

Usikkerhetsbehandling - Fuzzy Sets - et fuzzy set (fose mendge?) er en mendge der elementene i større eller mindre grad kan sies å være medlem av mendgen - en medlemsskapsfunksjon definerer i hvilken grad (mellom 0 og 1) et element er medlem av mengden - øvelse: tegn medlemsskapsfunksjonene [0,1] for ung og gammel i mendgen av aldre [1,100]. 1 0.5 1 10 20 30 40 50 60 70 80 90 100

Emner: Kunstig intelligens (MNFIT-272) - høst 2000. Forelesning 8 • Kunnskapsrepresentasjon - AI systemer i den virkelige verden - deklarativ vs. procedural kunnskap - representasjon vs. inferens - objekter i nettverk: - semantiske nett - frame systemer

Utvikling av AI systemer (forts.) To viktige prinsipper for modellering av kunnskap og resonnering. Begge er relatert til valg av fornuftige abstraksjons-nivåer tilpasset de forskjellige deler av programutviklings-prosessen: 1. Velg en egnet dekomponering av problem- rommet i hensiktsmessige deler. En mye anvendt oppdeling på øverste nivå er: - Oppgaver ( hva skal systemet gjøre?) - Metoder ( hvordan gjøre det? - Domenekunnskap ( hvilken kunnskap trengs?) - Agenter ( hvem skal gjøre hva?)

Representasjonsmetoder • Predikatlogikk - matematisk syntaks; deduktiv inferens - typisk eks.: Teorembevis-system • Regel-basert - syntaks er If-Then sammenhenger, med AND, OR, NOT operatorer og evt. usikkerhetsanslag; inferens er regel-lenking og usikkerhets- beregning. - eks.: Produksjonssystem • Nettverk - begreper er noder, relasjoner er lenker; inferens er bl.a. arving langs utvalgte lenker, ellers i utganspunktet uspesifisert. - eks.: Taksonomisk hierarki • Rammebaserte systemer - kan ses på som et nettverk der nodene er komplekse objekter; inferens som for nettverk, og typisk default arving, 'constraint propagation', og demoner (tilknyttede prosedyrer).

Deklarativ og prosedural representasjon Deklarativ kunnskap Representerer generelle sammenhenger og konkrete fakta, uavhengig av hvordan de er tenkt utnyttet. Gjør mao. antakelse om at den underliggende inferens- metoden er generell nok som basis for alle aktuelle måter å bruke kunnskapen på. eks.: (for-all ?x ((is-a bird ?x) <- (is-a animal ?x) AND (lays eggs ?x) AND (has feathers ?x )) Tolkning: Alle dyr som har fjær og legger egg er fugl er Prosedural kunnskap Representerer kunnskap i form av en prosedyre som hvis den utføres med suksess, gir den aktuelle kunnskapen som resultat. eks.: (is-a bird ?x)) <- (is-a animal ?x) AND (has feathers ?x ) AND (lays eggs ?x) Tolkning: For å finne ut om noe er en en fugl, sjekk først om det er et dyr, deretter om det har fjær, og til slutt om det legger egg.

Inferens-metoder • Deduksjon - sannhetsbevarende slutning - basis er slutningsregelen modus ponens (P(x) -> Q(x)) & P(a) -> Q(a) Klassisk eksempel: (Isa-man(x) -> Is-mortal(x)) & Isa-man(Socrates) -> Is-mortal(Socrates) • Abduksjon - ikke sannhetsbevarende - "inference to the best explanation" (P(x) -> Q(x)) & Q(a) ~> P(a) Eksempel: (Has-appendicitis(x) -> Has-abdominal-pain(x)) & Has-abdominal-pain(Socrates) ~> Has-appendicitis(Socrates)

- ikke sannhetsbevarende - generaliserende slutning • Induksjon - ikke sannhetsbevarende - generaliserende slutning (P(a) -> Q(a)) & (P(b) -> Q(b)) & ... ≈> P(x) -> Q(x) for all x Example: (Isa-bird(Robin) -> Can-fly(Robin)) & (Isa-bird(Eagle) -> Can-fly(Eagle)) & ... ≈> (Isa-bird(x) -> Can-fly(x))

Generelt representasjons-problem: Ontologier • En ontologi er settet av grunnleggende begreper som representerer et domene, samt de begrepstyper som representasjonen omfatter. • Øvrige begreper bygger på ontologi-begrepene. Eksempler: i) 'Case grammar' relasjoner for naturlig språk-tolkning: Agent, Objekt, Instrument, Lokalisering, Tid ii) Aristoteles' semantiske primitiver: Substans, Kvantitet, Kvalitet, Relasjon, Tid, Posisjon, Tilstand, Aktivitet, Passivitet •Definisjon av ontologier for kunnskapsbaserte systemer er en viktig del av kunnskaps- analyse og modellering på kunnskapsnivået . • En ontologi med stor innflytelse for tiden er den som er utviklet i CYC prosjektet. • En dekkende ontologi samt en dyp semantisk struktur mellom begrepene, er det som tilstrebes i semantisk-nett representasjoner.

Kunstig intelligens (MNFIT-272) - høst 2000. Forelesning 9 Emner: • Tolkning av naturlig språk - Kontekst-frie gramatikker - Chomsky hierarkiet - Kontekst-sensitive gramatikker Maskinlæring - induktiv symbol-prosessering - similaritetsbasert - forklaringsbasert •

Trinn i (datamaskin-basert) språktolkning Setningstruktur analyse (parsing) - syntaktisk struktur, genererer et ”parse-tree” Semantisk tolkning - ords og kombinerte ords mening, representert i en eller annen KR-formalisme Kontekstuell tolkning - utvidet semantisk tolkning, resonnering ved bruk av en kunnskapsbase av verdens/domene-kunnskap

Basis-begreper Gramatikk-regler S = NP VP NP = N NP = A N N = man N = dog A = a A = the Ikke-terminaler er lingvistiske termer (setning, verb, …) - f. eks. 3 øverste linjer over Terminaler er ord i språket - f. eks. 4 nederste linjer over

Kontekst-sensitive språk Ønskelig, men komplekse parsere ”Augmented Transitions Networks” (ATNs) gir kontekst- sensitive egenskaper ved en utvidelse av kontekst-frie gramatikk-regler Kombinerer syntaktisk og semantisk parsing Tillater ”procedural attachments” på lenkene i trans.nettet Prosedyrene kan utføre tester, tilordne verdier, konstruere deler av parse-tre, etc.

Eksempelbasert læring instansrommet: begrepsrommet: hypoteser - + + - + + - - - - - + + + -- -- - + + + + - - - + + + - +++++ - - - - - + - - - - - + + - - + + - + + Induktiv læring: kandidater eksempler begrep - + + - + + - - - - - + + + -- -- - + + + + - - - + + + - +++++ - - - - - + - - - - - + + - - + + - + + - + - + - - + + - - + - + - + + - - + - - + - - + - + Instansbasert læring: (case-basert, memory-basert) eksempler eksempler

G S Version Space + examples move S up - examples move G down more general consistent generalizations more specific S + examples move S up - examples move G down

Generality Lattice - Example (? ?) (? circle) (red ?) (blue ?) (? square) (red circle) (blue circle) (red square) (blue square)

Decision Trees Data structure for clasifying objects Restricted to featural descriptions Allows for disjunction color red green blue - size shape big small circle square ”something red and small or green and square-shaped” - + - +

Summary: Similarity-based Learning Empirical, data-intensive Requires many examples and counter-examples Knowledge poor Generates unjustified concept definitions

Summary: Explanation-based Learning Analytical Learns from 1 example Knowledge rich Generates justified concept definitions

EBL method: 1. Explain Use the domain theory to explain why the example is an example of the goal concept 2. Generalise Determine the most general condictions under whch the explanation holds, and generalise the explanation

(Fra første forelesning) INFORMATIKK STUDIE AV INTELLIGENTE SYSTEMER RELATERT TIL KOMPUTASJONELLE PROSESSER REALISERE DATASYSTEMER SOM KAN SIES Å OPPVISE INTELLIGENT ADFERD - DVS . ' SMARTERE ' SYSTEMER er delfelt av er koblet via empirisk vitenskapelig metode har teknologisk perspektiv har vitenskapelig perspektiv KUNSTIG INTELLIGENS (AI) KOGNITIV PSYKOLOGI FILOSOFI bygger bl.a. på MATEMATIKK BIOLOGI KUNNSKAPSBASERTE METODER ADFERDSORIENTERTE SUBSYMBOLSKE har metoder

NEVRALE NETT - struktur og læringsprinsipp • Et nettverk av noder delvis koblet i sammen via lenker. • Lenkene som går inn til en node kan medføre at noden aktiveres, som igjen medfører at lenken ut fra noden gis en verdi. • En node i nettet: x1 x2 x4 x3 w1 w2 w3 w4 o f Aktiveringsverdien for en node (o) bestemmes av en aktiveringsfunksjon (f) der styrken på inn-lenkene (x..) samt av vektingen av hver av dem (w..) er input-parametre. • Nevrale nett trenes opp ved at inndata gis inn, utdata registreres og avvikende resultatet tilbakeføres til nettet slik at vektene på lenkene blir justert ”i riktig retning”

Evolutionary Algorithms Semantic Parameters, Code, Neural Nets, Rules Performance Test P,C,N,R R &M Translate Generate Recombination & Mutation Bits Bit Strings Syntactic

Types of Evolutionary Algorithms Genetic Algorithms (Holland, 1975) Representation: Bit Strings => Integer or real feature vectors Syntactic crossover (main) & mutation (secondary) Evolutionary Strategies (Recehenberg, 1972; Schwefel, 1995) Representation: Real-valued feature vectors Semantic mutation (main) & crossover (secondary) Evolutionary Programs (Fogel, Owens & Walsh, 1966; Fogel, 1995) Representation: Real-valued feature vectors or Finite State Machines Semantic mutation (only) View each individual as a whole species, hence no crossover Genetic Programs (Koza, 1992) Representation: Computer programs (typically in LISP)

Artificial Life Biology = study of carbon-based life “life as we know it” Alife = study of the dynamics of living systems, regardless of substrate. “life as it could be” Substrates: abstract chemistries, logical networks, cellular automata, abstract ecosystems, emulated computers..

Properties of Alife Systems Synthetic: Bottom-up, multiple interacting agents Self-regulating: No global/centralized control. Self-Organizing: Global structure is emergent. Adaptive: Learning and/or evolving Complex: On the edge of chaos; dissipative