Enspråklig terminologiekstraksjon TRANS 2110
Oversikt ● Hva er termekstraksjon? ● Steg 1: Interessante enkeltord ● Steg 2: Interessante fraser ● Steg 3: Sammenlign med referansekorpus
Sentrale begreper ● Termekstraksjon: Automatisk analyse av et domenespesifikt korpus for å generere kandidater til en termbase ● Korpus: En samling tekster ● Frekvens: Hvor often noe forekommer i et korpus
Termekstraksjon ● Fungerer aldri perfekt, men – Kan spare en for mye arbeid likevel – Avhengig av mengde og kvalitet på korpuset: Jo større jo bedre! ● Kommersielle løsninger: – Trados – SDL
Steg 1: Interessante enkeltord ● Vi vil beholde innholdsordene: ● Substantiv ● Verb ● Adjektiv ● (Adverb) ● Enten: Filtrer bort funksjonsord (stoppliste) ● Eller: Gjør en full ordklasse-analyse av teksten
Steg 2: Interessante fraser ● Kollokasjoner: Tell hvilke ord som forekommer sammen ● Fraser: Let etter sekvenser av ordklasser (typisk: substantivfraser) ● Adverb +Adjektiv +Substantiv “svært høy fjelltopp” ● Substantiv +preposisjon + Substantiv “mann utensko
Steg 3: Sammenlign med referansekorpus ● Vi sammenligner med frekvensene i et referansekorpus (ikke domenespesifikt) ● En kandidat er lovende, hvis den forekommer oftere enn forventet. ● Eksempler ● I et korpus med tekster om sport vil ordet “dommer” forekomme oftere enn i referansekorpuset ● Tilsvarende med helse: “medisin”, “diagnose”
Bruk TermX ● Gå til ● Åpne korpuset med ditt brukernavn ● Kopier inn domenespesifikk tekst, og velg Legg til ● Velg Analyser korpus for å se resultatene ● Viser bare NPer