Tele og data 1 Taleteknologi - Hva, hvorfor og hvordan? Språkteknologiseminar NTNU 10. januar 2003 Erik Harborg, SINTEF Tele og data

Tele og data 2 Innhold Hva er taleteknologi? Hvorfor taleteknologi? Hovedtemaer innen taleteknologi Anvendelsesområder Suksesskriterier Konklusjon

Tele og data 3 Taleteknologi vs. språkteknologi Språkteknologi omhandler elektronisk behandling av tale og tekst Elektronisk behandling av tekst: F.eks. datalingvistikk, parsing (automatisk syntaktisk analyse) av språk, maskinoversetting, flerspråklig tekstbehandling Taleteknologi - elektronisk behandling av tale F.eks. talesyntese, talekoding, talegjenkjenning,…

Tele og data 4 Taleteknologi - flerfaglig Informatikk Taleteknologi Statistikk Signal- behandling Psykologi Elektro- nikk Lingvistikk Fonetikk Språk- data

Tele og data 5 Hvorfor taleteknologi? Enkelt Naturlig kommunikasjonsform Vi har det med oss over alt Frigjørende Hender og øyne fri til andre oppgaver  kan unngå tastatur og skjerm Hjelp for funksjonshemmede Raskt Tilgjengelighet av informasjon Hvor som helst, når som helst, hvem som helst F.eks.: Enkelt grensesnitt basert på tale og telefon

Tele og data 6 Hovedemner innen taleteknologi Talegjenkjenning Talesyntese Talebaserte dialogsystemer Andre felt: Talekoding Talergjenkjenning (stemmegjenkjenning) Taleanalyse

Tele og data 7 Talegjenkjenning Send epost til Erik

Tele og data 8 Talegjenkjenning Tale-til-tekst Internasjonal status: God ytelse under kontrollerte forhold Problemer: Støy (bakgrunn, linje) Talervariasjon Uttalevariasjon Variasjon i uttrykksmåte Hovedtema: Robust talegjenkjenning Egenskaps- uttrekking Akustiske modeller Uttaleleksikon Språkmodell Taledetektor Tale Tale- gjenkjenner Tekst

Tele og data 9 Teknologistatus - talegjenkjenning Problemer: Spontan, naturlig tale Robusthet mot talervariasjoner og bakgrunnsstøy

Tele og data 10 Talegjenkjenning på norsk Diktering Demo-system for teksting av direktesendte TV-programmer Kommando-styring og enkle dialoger Basert på taledatabasen SpeechDat Nuance Telenor Mobil: “Bare spør 1999” Telenor/Unisys: Talk2Call, automatisert sentralbord SAS SpeechLine NST AutoSwitch (sentralbord) Philips (Speech Pearl) Dolphin kundeservice: “Talivei talestyrt front til 145” Fazet: Stemmestyrt e-post og stemmeringing

Tele og data 11 Talesyntese Du har fått epost fra Petter

Tele og data 12 Talesyntese Talegenerering “Frasekonkatenering” - skjøting av setningsdeler Begrenset meldingsrepertoar Tungvint å gjøre endringer Tekst-til-tale syntese (TTS) All tekst kan leses opp Begrensning på språk Behov for forbedret talekvalitet Prosodimodellering Lydgenerering Tekst Tekst til lydskrift Uttale- ordliste og -regler Intonasjon Modeller og regler Lydgenerering Lyd- data Tale

Tele og data 13 Talesyntese på norsk Infovox 2. generasjon Konkatenativ syntese (difonbasert) Eks. på anvendelse: Lesemaskin for blinde/svaksynte Telenors Talsmann Samme basisteknologi som Infovox RealSpeak fra ScanSoft 3. generasjon Tilpasset for norsk av NST Enhetsutvelgelse Prinsipielt som konkatenativ, men flere lydopptak av samme lydsegment (i forskjellig kontekst) og lengre lydsekvenser Eks. på anvendelser: VeraVox, “bare spør 1999”, Talk2Call 8 kHz16 kHz 8 kHz

Tele og data 14 Teknologistatus - talesyntese Stor forbedring av naturlighet i løpet av de siste 10 år Utvikling fra regelbasert syntese til datadrevet Høy naturlighet betinger: Stort lagerkrav Relativt høye krav til prosessering Kostbart å lage nye stemmer

Tele og data 15 Talebasert dialogsystem Når går neste buss til sentrum? Hvor skal du reise fra? Tale- gjenkjenning Dialog- håndtering Data Grammatisk og semantisk analyse Tale- syntese Dialogsystem

Tele og data 16 Teknologistatus - dialogsystemer Enkle dialogsystemer (systemstyrt) i praktisk bruk, også i Norge (sentralbord, ruteopplysning,…) Systemer med høy transaksjonssuksess eksisterer Begrenset domene Ytelsen er like avhengig av god dialogdesign som av talegjenkjenneren Forskning innen avanserte systemer med blandet initiativ, naturlig språk og multimodalitet

Tele og data 17 Anvendelser Teletjenester Talepost, beskjedhåndtering Automatisert sentralbord Ruting av innkommende samtaler Talestyrt oppringning Enkel utnyttelse av innebygde tjenester i lokal sentral Informasjonsinnhenting F.eks. reiseinformasjon, nummeropplysning Tilgang til private og offentlige databaser Gir tilgang uten internettaksess

Tele og data 18 Anvendelser Mobile enheter Talestyring i mobiltelefon GIS - grensesnitt for navigasjonssystemer med digitale kart/GPS PDA/neste generasjon mobiltelefon Krav til terminalens størrelse vanskeliggjør tradisjonelle brukergrensesnitt Krav til sikkerhet forutsetter hender og øyne fri til andre oppgaver Kontor- og hjemmebruk Navigasjon i vindusgrensesnitt Diktering Styring/kontroll av omgivelser (husholdningsapparater/ -utstyr)

Tele og data 19 Anvendelser Helsevesenet Automatisert transkripsjon av journaler Diktering for veldefinert medisinsk sektor (f.eks. radiologi) Talestyring av medisinsk teknologisk utstyr (f.eks. kontroll av bildeutsnitt ved kikkhullskirurgi) Mobil elektronisk pasientjournal Funksjonshemmede Talestyrt omgivelseskontroll Diktering Taleprotese Lesemaskiner Tale- og lesetrening

Tele og data 20 Eks. på anvendelse: Døvetelefon Når døv skal snakke med hørende Talegjenkjenning for oversettelse fra tale til tekst Gjenkjent tale vises på monitor/display Tekst til tale ved hjelp av talesyntese Supplement/erstatning for dagens manuelle tjeneste (operatør) Tale- gjenkjenner Tale- syntese Bla bla bla

Tele og data 21 Forutsetninger for suksess Ytelse og pålitelighet i grunnleggende teknologi Talegjenkjenning: Robusthet mot bakgrunnsstøy, talestil, dialekt,… Talesyntese:Høy forståelighet og naturlighet Dialogutforming Systemkrav: Riktig valg av produkt/tjeneste Klar innsikt i teknologiens begrensninger Lag feiltolerante systemer Fokuser på brukerens mål og oppfatning av nytteverdi Må være langt bedre enn alternative grensesnitt Kompleksitet og maskinkrav Behov for minne og prosessorkraft i samsvar med “mainstream” teknologiutvikling Krav til lavt effektforbruk viktig for mobile terminaler

Tele og data 22 Forutsetninger for suksess Utbredelsestakten er avhengig av om den STORE anvendelsen kommer Multimodalitet Bruk tale der det er best, andre medier der det er best Kombinasjon av tale, grafikk, tastatur, datamus, trykkfølsom skjerm osv., kan gi langt mer brukervennlige systemer enn ved bruk av en av modiene alene Teknologien er språkavhengig For norsk: sammensatte ord, avbøyninger, dialekter Krever tilgang til store mengder språkdata på hvert språk I Norge: Svært lite språkdata allment tilgjengelig

Tele og data 23 Konklusjoner Taleteknologien er kraftig forbedret i løpet av de siste 10 år Fortsatt langt fra perfekt, men god nok til å kunne anvendes i en rekke sammenhenger Kommersielle anvendelser begynner å komme Fortsatt ikke det store gjennombruddet, IKT-konjunkturen har også påvirket dette Forbedret teknologi og en velvalgt og gjennomtenkt anvendelse er en forutsetning for suksess Markedet påvirkes sterkt av hva “de store” velger å tilby Norge er et lite marked - tilgang på språkteknologi for norsk språk er avhengig av eget miljø og kort (og kostnadseffektiv) produkttilpasning for internasjonale aktører (jfr. Norsk Språkbank)