Expressive Conversational-Behavior Generation Models for Adva... - 9781634829557

Knygos tikslas – pateikti lankstų ir efektyvų algoritmą bei naują sistemą, naudojamą pokalbio elgesio (koverbalinio elgesio) planavimui, generavimui ir realizavimui. Toks elgesys geriausiai apibūdinamas kaip judančių kūno dalių rinkinys, kuris yra prasmingas. Prozodijos požiūriu ji sinchronizuojama su lydinčia kalba. Judėjimas ir formos, sugeneruotos kaip bendražodinis elgesys, yra kontekstinis ryšys tarp nepriklausomų motorinių įgūdžių (formų, judesių ir pozų, kurias pokalbio agentas gali atkurti ir atlikti) repertuaro ir kalbinių sekų ketinimo / prasmės (konteksto). Tikroji sakytinio turinio intencija / prasmė identifikuojama naudojant nuo kalbos priklausančius kalbinius žymenis ir prozodiją. Žinių duomenų bazės, naudojamos teksto intencijai/prasmei nustatyti, yra pagrįstos lingvistine analize ir teksto klasifikavimu į semiotikos klases ir poklasius, gautus anotuojant multimodalinius korpusus, remiantis siūloma EVA anotavimo schema. Schema leidžia užfiksuoti funkcijas funkciniu (priklauso nuo konteksto), taip pat aprašomuoju (nuo konteksto nepriklausomu) lygiu. Funkcinis lygis fiksuoja aukšto lygio ypatybes, apibūdinančias kalbos ir koverbalinio elgesio ryšį, o aprašomasis lygis leidžia užfiksuoti ir apibrėžti kūno pozas ir formas nepriklausomai nuo verbalinio turinio ir didelės raiškos. Todėl anotacijos schema ne tik susieja kalbą ir gestą semiotikos lygmeniu, bet ir yra pagrindas kurti nuo konteksto nepriklausomą judesio ir formų repertuarą. Koverbalinio elgesio formavimo procesas šioje knygoje suskirstytas į du etapus. Pirmasis etapas susijęs su ketinimų klasifikavimu ir sinchronizavimu su verbaliniu turiniu ir prozodija. Antrasis etapas paverčia suplanuotą ir sinchronizuotą elgesį į koverbalinę animaciją, kurią atlieka įkūnytas pokalbio agentas (ECA). Kad būtų galima ekstrapoliuoti ketinimą iš savavališkų teksto sekų, elgesio formulavimo algoritmas išveda prasmę / ketinimą semiotinės intencijos atžvilgiu. Be to, algoritmas atsižvelgia į savavališko ir nekontuoto teksto kalbines ypatybes ir pasirenka primityvius gestus, pagrįstus semiotiniais branduoliais, kurie identifikuojami pagal semiotinę klasifikaciją ir toliau modeliuojami pagal numatomus kalbos prozodinius bruožus, kuriuos generuoja bendras tekstas į kalbą. sistema (TTS). Elgesio formulavimo fazės išvestis vaizduojama kaip hierarchinė procedūra, užkoduota XML formatu, ir kaip kalbos seka, sugeneruota TTS. Procedūros aprašymas yra orientuotas į įvykį ir atspindi aiškiai apibrėžtą nuoseklių kūno dalių, taip pat lygiagrečiai judančių kūno dalių, judesių struktūrą. Antrasis romano architektūros etapas paverčia procedūrinius aprašymus į nuoseklias atskirų artikuliuoto įkūnyto pokalbio agento dalių animacijų seriją. Šiuo atžvilgiu taip pat pristatoma nauja ECA pagrindu sukurta realizavimo sistema, pavadinta EVA-framework. Jis palaiko procedūrinės animacijos aprašymų ir planų realizavimą realiuoju laiku kelių dalių tinklelio modeliuose, naudojant skeleto animaciją, mišrių formų animaciją ir iš anksto nustatytų (iš anksto įrašytų) animacinių segmentų animaciją. Todėl šioje knygoje aptariamas išsamus išraiškingo koverbalinio elgesio generavimo modelio sukūrimas ir įgyvendinimas, galintis paversti nekomentuotą tekstą į kalbos sinchronizuotą animacinių sekų seriją.