Expressive Conversational-Behavior Generation Models for Adva... - 9781634829557

Raamatu eesmärk on esindada paindlikku ja tõhusat algoritmi ning uudset süsteemi, mida kasutatakse vestluskäitumise (kaasverbaalse käitumise) planeerimiseks, genereerimiseks ja realiseerimiseks. Sellist käitumist kirjeldatakse kõige paremini liikuvate kehaosade kogumina, millel on tähendus. Prosoodia mõttes on see sünkroniseeritud saatekõnega. Kaasverbaalse käitumisena genereeritud liikumine ja kujundid kujutavad endast kontekstuaalset seost iseseisvate motoorsete oskuste repertuaari (kujud, liigutused ja poosid, mida vestlusagent suudab reprodutseerida ja teostada) ning kõneliste jadade kavatsuse/tähenduse (kontekst) vahel. Suulise sisu tegelik kavatsus/tähendus tehakse kindlaks keelest sõltuvate keeleliste markerite ja prosoodia abil. Teksti kavatsuse/tähenduse määramiseks kasutatavad teadmiste andmebaasid põhinevad lingvistilisel analüüsil ja teksti klassifitseerimisel semiootilisteks klassideks ja alamklassideks, mis on saavutatud multimodaalsete korpuste annoteerimise teel pakutud EVA annotatsiooniskeemi alusel. Skeem võimaldab jäädvustada funktsioone nii funktsionaalsel (kontekstist sõltuval) kui ka kirjeldaval (kontekstist sõltumatul) tasemel. Funktsionaalne tase hõlmab kõrgetasemelisi funktsioone, mis kirjeldavad kõne ja kaasverbaalse käitumise vahelist seost, samas kui kirjeldav tase võimaldab meil tabada ja määratleda kehapoose ja kujusid sõltumatult verbaalsest sisust ja kõrge eraldusvõimega. Seetõttu ei seo annotatsiooniskeem mitte ainult kõnet ja žesti semiootilisel tasandil, vaid on ka aluseks kontekstist sõltumatu liikumise ja kujundite repertuaari loomisel. Kaasverbaalse käitumise loomise protsess on selles raamatus jagatud kahte faasi. Esimene faas tegeleb kavatsuse klassifitseerimisega ja selle sünkroniseerimisega verbaalse sisu ja prosoodiaga. Seejärel teisendab teine faas kavandatud ja sünkroniseeritud käitumise kaasverbaalseks animatsiooniks, mida teostab kehastatud vestlusagent (ECA). Et kavatsust oleks võimalik ekstrapoleerida suvalistest tekstijadadest, tuletab käitumise formuleerimise algoritm semiootilise kavatsuse suhtes tähenduse/kavatsuse. Lisaks arvestab algoritm suvalise ja annoteerimata teksti keelelisi tunnuseid ning valib semiootilistel tuumadel põhinevaid primitiivseid žeste, mis on tuvastatud semiootilise klassifikatsiooni abil ja mida täiendavalt modelleerivad kõne ennustatud prosoodilised tunnused, mida genereerib üldine tekst kõneks muutmine. süsteem (TTS). Käitumise formuleerimise faasi väljund on esitatud XML-vormingus kodeeritud hierarhilise protseduurina ja TTS-i poolt genereeritud kõnejärjestusena. Protseduurikirjeldus on sündmusele orienteeritud ja kujutab endast kehaosade järjestikuste liigutuste ja paralleelselt liikuvate kehaosade täpselt määratletud struktuuri. Uudse arhitektuuri teine faas muudab protseduurilised kirjeldused liigendatud kehastatud vestlusagendi üksikute osade sidusate animatsioonide seeriaks. Sellega seoses on esindatud ka uudne ECA-põhine realiseerimisraamistik nimega EVA-raamistik. See toetab protseduuriliste animatsioonide kirjelduste ja plaanide reaalajas realiseerimist mitmeosaliste võrgupõhiste mudelite puhul, kasutades skeletianimatsiooni, segukuju animatsiooni ja eelmääratletud (eelsalvestatud) animeeritud segmentide animatsiooni. Seetõttu käsitleb käesolev raamat kaasverbaalse käitumise genereerimiseks mõeldud ekspressiivse mudeli täielikku kavandamist ja rakendamist, mis on võimeline muutma annoteerimata teksti kõnega sünkroniseeritud animeeritud jadadeks.