Expressive Conversational-Behavior Generation Models for Adva... - 9781634829557

Grāmatas mērķis ir attēlot elastīgu un efektīvu algoritmu un jaunu sistēmu, ko izmanto sarunvalodas uzvedības (koverbālās uzvedības) plānošanai, ģenerēšanai un realizācijai. Šādu uzvedību vislabāk raksturo kā kustīgu ķermeņa daļu kopumu, kam ir nozīme. Prozodijas ziņā tas ir sinhronizēts ar pavadošo runu. Kustība un formas, kas ģenerētas kā koverbāla uzvedība, atspoguļo kontekstuālu saikni starp neatkarīgu motoriku repertuāru (formas, kustības un pozas, ko sarunu aģents var reproducēt un izpildīt), un runāto secību nolūku/nozīmi (kontekstu). Runātā satura faktiskais nolūks/nozīme tiek identificēta, izmantojot no valodas atkarīgus lingvistiskos marķierus un prozodiju. Zināšanu datu bāzes, ko izmanto, lai noteiktu teksta nolūku/nozīmi, ir balstītas uz lingvistisko analīzi un teksta klasifikāciju semiotiskajās klasēs un apakšklasēs, kas iegūta, anotējot multimodālos korpusus, pamatojoties uz piedāvāto EVA anotācijas shēmu. Shēma ļauj tvert funkcijas funkcionālā (no konteksta atkarīgā), kā arī aprakstošā (no konteksta neatkarīgā) līmenī. Funkcionālais līmenis aptver augsta līmeņa pazīmes, kas apraksta korelāciju starp runu un koverbālo uzvedību, savukārt aprakstošais līmenis ļauj tvert un definēt ķermeņa pozas un formas neatkarīgi no verbālā satura un augstā izšķirtspējā. Tādējādi anotācijas shēma ne tikai saista runu un žestus semiotiskā līmenī, bet arī kalpo par pamatu no konteksta neatkarīga kustību un formu repertuāra veidošanai. Koverbālās uzvedības ģenerēšanas process šajā grāmatā ir sadalīts divās fāzēs. Pirmā fāze ir saistīta ar nodomu klasifikāciju un tās sinhronizāciju ar verbālo saturu un prozodiju. Pēc tam otrā fāze pārveido plānoto un sinhronizēto uzvedību koverbālā animācijā, ko veic iemiesots sarunu aģents (ECA). Lai varētu ekstrapolēt nolūku no patvaļīgām teksta sekvencēm, uzvedības formulēšanas algoritms secina nozīmi/nodomu attiecībā uz semiotisko nolūku. Turklāt algoritms ņem vērā patvaļīga un bez anotācijas teksta lingvistiskās iezīmes un atlasa primitīvus žestus, kuru pamatā ir semiotiskie kodoli, kas identificēti ar semiotisko klasifikāciju un tālāk modelēti ar prognozētajām runas prozodiskajām iezīmēm, ko ģenerē vispārēja teksta pārvēršana runā. sistēma (TTS). Uzvedības formulēšanas fāzes izvade tiek attēlota kā hierarhiska procedūra, kas kodēta XML formātā, un kā runas secība, ko ģenerē TTS. Procedūras apraksts ir orientēts uz notikumu un atspoguļo labi definētu ķermeņa daļu secīgu kustību, kā arī paralēli kustīgu ķermeņa daļu kustību struktūru. Romāna arhitektūras otrā fāze pārveido procesuālos aprakstus par virkni saskaņotu animāciju atsevišķām artikulētā iemiesotā sarunu aģenta daļām. Šajā sakarā ir pārstāvēta arī jauna uz ECA balstīta realizācijas sistēma ar nosaukumu EVA-framework. Tā atbalsta procesuālo animāciju aprakstu un plānu realizāciju reāllaikā uz vairāku daļu tīkla modeļiem, izmantojot skeleta animāciju, sajaukšanas formu animāciju un iepriekš definētu (iepriekš ierakstītu) animētu segmentu animāciju. Tāpēc šajā grāmatā ir apskatīta pilnīga izteiksmīga modeļa izstrāde un ieviešana koverbālās uzvedības ģenerēšanai, kas spēj pārveidot tekstu bez anotācijas par runu sinhronizētu animētu secību sēriju.