UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnegjenkjenning for norsk med Constraint Grammar (CG) Andra Björk Jónsdóttir og Kristin Hagen Tekstlaboratoriet Universitetet i Oslo

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnegjenkjenning med Oslo-Bergen-taggeren Modell over systemet Leksikon og navnelister Suffiksmodul for navn Sammenslåing av navn ved syntaktisk disambiguering Sammenslåing av navn ved regulære uttrykk og dokumentmetoden Navnedisambiguering med CG Navnedisambiguering med dokumentmetoden Vegen videre

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnegjenkjenning med Oslo-Bergen-taggeren Modell over systemet Leksikon og navnelister Suffiksmodul for navn Sammenslåing av navn ved syntaktisk disambiguering Sammenslåing av navn ved regulære uttrykk og dokumentmetoden Navnedisambiguering med CG Navnedisambiguering med dokumentmetoden Vegen videre

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 LeksikonNavnelister ord- og setningsgrenser multitagging suffiksmodul morfologisk og syntaktisk disambiguering Regulære uttrykk Navnedisambiguering med CG Token-minne Navnedisambiguering med dokumentmetoden Modell over systemet

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnegjenkjenning med Oslo-Bergen-taggeren Modell over systemet Leksikon og navnelister Suffiksmodul for navn Sammenslåing av navn ved syntaktisk disambiguering Sammenslåing av navn ved regulære uttrykk og dokumentmetoden Navnedisambiguering med CG Navnedisambiguering med dokumentmetoden Vegen videre

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Leksikon og navnelister Navnelister legges til ved siden av leksikon Navnene har tilleggsinformasjon om navnekategorier som man kan velge å benytte i navnedisambigueringen: ” ” ”Hustad” subst prop ” ” ”Heidi” subst fem prop ” ” ”Aftenposten” subst prop Modulen er nesten ferdigutviklet

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnegjenkjenning med Oslo-Bergen-taggeren Modell over systemet Leksikon og navnelister Suffiksmodul for navn Sammenslåing av navn ved syntaktisk disambiguering Sammenslåing av navn ved regulære uttrykk og dokumentmetoden Navnedisambiguering med CG Navnedisambiguering med dokumentmetoden Vegen videre

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Suffiksmodul (1) Ikke mulig å se inn i ord i CG Modul som leter etter bestemte suffikser og returnerer dem som tagger som er synlige for CG-reglene Skjer etter multitagging

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Suffiksmodul (2) Eksempler på suffikser som kan være nyttig å ha tilgang til: " "handelsminister" subst mask appell ub ent " ”Kolstad kirke" subst prop (e.g. landsby, grenseby, storby osv.)

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Suffiksmodul (3) " "det" pron pers 3 noeyt ent "det" det dem noeyt ent " "være" verb pres a5 pr1 pr2 " "utenriksminister" subst mask appell ub ent " "Jan" subst mask prop " "Petersen" subst prop " "$." clb <<<

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnegjenkjenning med Oslo-Bergen-taggeren Modell over systemet Leksikon og navnelister Suffiksmodul for navn Sammenslåing av navn ved syntaktisk disambiguering Sammenslåing av navn ved regulære uttrykk og dokumentmetoden Navnedisambiguering med CG Navnedisambiguering med dokumentmetoden Vegen videre

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Syntaktisk disambiguering (1) Syntaktiske regler for å avgjøre hvilke navn som hører sammen: I dag så  I dag så Eller Torsdag gav dokumentene

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Syntaktisk disambiguering (2) " "i" " " ! "dag" subst mask appell ub " "se" verb pret tr1 tr11 tr2 tr11/til tr3 pa2 pa5 " "Kari" subst fem " "Hansen" subst " " PCT "$." clb <<<

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Syntaktisk disambiguering (3) til navn som hører sammen med neste navn " "i" " "dag" subst mask appell ub " "se" verb pret tr1 tr11 tr2 tr11/til tr3 pa2 pa5 " "Kari" subst fem " "Hansen" subst "<Per "Per" subst mask " "Nilsen" subst " "$." clb <<<

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnegjenkjenning med Oslo-Bergen-taggeren Modell over systemet Leksikon og navnelister Suffiksmodul for navn Sammenslåing av navn ved syntaktisk disambiguering Sammenslåing av navn ved regulære uttrykk og dokumentmetoden Navnedisambiguering med CG Navnedisambiguering med dokumentmetoden Vegen videre

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 " "i" " "dag" subst mask appell ub " "se" verb pret tr1 tr11 tr2 tr11/til tr3 pa2 pa5 " "Kari Hansen" subst " "Per Nilsen" subst " "$." clb <<< Sammenslåing av navn (1)

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Gjenkjenner faste mønster for komplekse egennavn " "han" pron pers 3 mask ent hum " "jobbe" verb pret tr1 i1 " "ved" " " "Universitetet i Oslo" subst prop " Sammenslåing av navn (2) ved regulære uttrykk

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Sammenslåing av navn (3) ved dokumentmetoden Benytter global kontekst Kan se både framover og bakover i dokumentet Slår sammen komplekse egennavn i førsteposisjon som er gjenkjent tidligere. Gjenkjenner egennavn som kan forekomme i ulik form i samme tekst/dokument Den norske legeforeningen vs. Legeforeningen Universitetet i Oslo vs. Universitetet

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Sen og sur sensur ved Universitetet i Oslo Det er en selvfølge at studenter leverer sine eksamensbesvarelser i tide. Og det er en selvfølge at de som søker en jobb de har lyst på leverer søknaden med relevante attester og karakterutskrifter innen fristen. Universitetet derimot ser tilsynelatende ut til å ha et mer liberalt forhold til det å overholde frister. Universitas 22. Januar 2003 Sammenslåing av navn (4) ved dokumentmetoden

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnegjenkjenning med Oslo-Bergen-taggeren Modell over systemet Leksikon og navnelister Suffiksmodul for navn Sammenslåing av navn ved syntaktisk disambiguering Sammenslåing av navn ved regulære uttrykk og dokumentmetoden Navnedisambiguering med CG Navnedisambiguering med dokumentmetoden Vegen videre

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnedisambiguering med CG (1) Ordmengder for å simulere semantikk Bruke suffiksene Bruke navnelistene

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnedisambiguering med CG (2) Ordmengder for å simulere semantikk Hvordan finne ordmengder? SIMPLE-leksikonet Egen intuisjon Korpussøk Mønstergjenkjenning

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnedisambiguering med CG (3) Ordmengder for å simulere semantikk Benytte seg av verbs seleksjonsrestriksjoner: Visse verb krever et levende subjekt:  ”spise”, ”føle”, ”lukte” Kari (&person) spiser en bolle. Krav om at organisasjon eller person er subjekt:  ”sier”, ”skriver”, ”hevder” Kari (&person) hevder dette. USA (&org) hevder at krig er eneste utveg. Aftenposten (&org) skriver dette.

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnedisambiguering med CG (4) Ordmengder for å simulere semantikk Benytte seg av verbs seleksjonsrestriksjoner pluss andre ordmengder: Kombinasjonen av visse verb med visse substantivmengder :  &person + ”skrive” + + &verk Jon (&person) skrev boken Høyfjellsfeber (&verk).  + ”til”/”fra” + Jeg kommer fra Italia (&sted) Hun flyktet fra Island (&sted)

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnedisambiguering med CG (5) Bruke suffiksene Entydiggjøre der subjektet kan være enten &org eller &person: Bruke &org-suffiks som,,  Kirkerådet (&org) sier i en uttalelse at …  Norske kvinners sanitetsforening (&org) hevder at det ikke er slik Bruke &person-suffiks som,,  Kari Johanson (&person) sier i en uttalelse at …  Stig Pålsen (&person) hevder at det ikke er slik

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnedisambiguering med CG (6) Bruke suffiksene Suffikser som nøkkelord Bruke visse suffikser foran egennavn:  + &person Utenriksminister Gerdur Sigurdardottir (&person)…

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnedisambiguering med CG (7) Bruke navnelistene Katogoritagger gitt fra navnelister er ikke avgjørende for kategoriseringen, men en hjelp (hint). ”Heidi” finnes i navnelisten med taggen, men tagges likevel som &verk i denne konteksten:  Barneboken Heidi (&verk) var en suksess. " "barnebok" subst mask appell " "Heidi" subst fem &verk " "være" verb pret a5 pr1 " "en" det kvant mask " "suksess" subst mask appell " "

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnedisambiguering med CG (8) Bruke navnelistene CG-regler som bruker kategorienene fra navnelistene som hjelp: Navn merket med i navnelistene:  + ”til”/”fra” + Jeg kommer fra Italia (&sted) Hun flyktet fra Island (&sted)

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnedisambiguering med CG (9) Bruke navnelistene Til slutt får navn som står i uspesifisert kontekst navnekategorien gitt i navnelista  Heidi Vi snakket om Heidi (&person)  Roma Vi snakket om Roma (&sted)

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnegjenkjenning med Oslo-Bergen-taggeren Modell over systemet Leksikon og navnelister Suffiksmodul for navn Sammenslåing av navn ved syntaktisk disambiguering Sammenslåing av navn ved regulære uttrykk og dokumentmetoden Navnedisambiguering med CG Navnedisambiguering med dokumentmetoden Vegen videre

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Dokumentmetoden (1) Bruke dokumentmetoden til navnedisambiguering etter at CG- reglene er kjørt  Utenriksminister Knut Vollebæk (&person) har reist til Italia. Men Vollebæk ( &person &sted &org &verk &hend &annet) kommer tilbake i mai.  Utenriksminister Knut Vollebæk (&person) har reist til Italia. Men Vollebæk ( &person) kommer tilbake i mai.

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Dokumentmetoden (2) " "utenriksminister" subst mask appell ub " "Knut Volleb æ k" subst &person " "ha" verb pres pa1 a6 d5 rl6 tr6 d6/til pa3 tr12 " "reise" verb perf-part i1 a3 "reise" verb perf-part tr1 rl4 pa1 " "til" * " "Italia" subst &sted " "$." clb <<<

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Dokumentmetoden (3) " "men" konj * " " PN "Volleb æ k" subst &person " "komme" verb pres i1 i2 tr11 a3 rl5 pa4 a4 pa5 rl15 tr12 tr21 " "tilbake" " "i" " "mai" subst mask appell " "$." clb <<<

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Navnegjenkjenning med Oslo-Bergen-taggeren Modell over systemet Leksikon og navnelister Suffiksmodul for navn Sammenslåing av navn ved syntaktisk disambiguering Sammenslåing av navn ved regulære uttrykk og dokumentmetoden Navnedisambiguering med CG Navnedisambiguering med dokumentmetoden Vegen videre

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Vegen videre Videreutvikle navnelister Lage flere ordmengder som simulerer semantikk Skrive flere CG-regler, som bl.a Bruker navnelister Bruker suffikser Bruker semantiske ordmengder Eksperimentere med dokumentmetoden - med og uten statistikk Evaluering av systemet

UNIVERSITETET I OSLO © TEKSTLABORATORIET Fefor 2003 Adresse til Oslo-Bergen-taggeren