Expressive Conversational-Behavior Generation Models for Adva... - 9781634829557

Celem książki jest przedstawienie elastycznego i wydajnego algorytmu oraz nowatorskiego systemu wykorzystywanego do planowania, generowania i realizacji zachowań konwersacyjnych (zachowań współwerbalnych). Takie zachowanie najlepiej opisać jako zestaw ruchomych części ciała, które mają znaczenie. Pod względem prozodycznym jest ona zsynchronizowana z towarzyszącą mową. Ruch i kształty generowane jako zachowanie współwerbalne reprezentują kontekstowe połączenie pomiędzy repertuarem niezależnych umiejętności motorycznych (kształty, ruchy i pozycje, które podmiot konwersacyjny może odtworzyć i wykonać) a intencją/znaczeniem sekwencji mówionych (kontekst). Rzeczywisty zamiar/znaczenie treści mówionych identyfikuje się za pomocą zależnych od języka znaczników językowych i prozodii. Bazy wiedzy wykorzystywane do określenia intencji/znaczenia tekstu opierają się na analizie językowej i klasyfikacji tekstu na klasy i podklasy semiotyczne, uzyskanej poprzez adnotację korpusów multimodalnych w oparciu o proponowany schemat adnotacji EVA. Schemat pozwala na uchwycenie cech zarówno na poziomie funkcjonalnym (zależnym od kontekstu), jak i opisowym (niezależnym od kontekstu). Poziom funkcjonalny ujmuje cechy wysokiego poziomu, które opisują korelację między mową a zachowaniem współwerbalnym, natomiast poziom opisowy pozwala uchwycić i zdefiniować pozy i kształty ciała niezależnie od treści werbalnej i w wysokiej rozdzielczości. Schemat adnotacji nie tylko łączy mowę i gesty na poziomie semiotycznym, ale także służy jako podstawa do stworzenia niezależnego od kontekstu repertuaru ruchu i kształtów. Proces generowania zachowań współwerbalnych jest w tej książce podzielony na dwie fazy. Pierwsza faza dotyczy klasyfikacji intencji i jej synchronizacji z treścią werbalną i prozodią. Następnie druga faza przekształca zaplanowane i zsynchronizowane zachowanie w animację współwerbalną wykonywaną przez ucieleśnionego agenta konwersacyjnego (ECA). Aby móc ekstrapolować intencję z dowolnych sekwencji tekstowych, algorytm formułowania zachowania wyprowadza znaczenie/intencję w odniesieniu do intencji semiotycznej. Co więcej, algorytm bierze pod uwagę cechy językowe dowolnego i pozbawionego adnotacji tekstu i wybiera prymitywne gesty w oparciu o jądra semiotyczne, zidentyfikowane za pomocą klasyfikacji semiotycznej i dalej modelowane przez przewidywane prozodyczne cechy mowy, które mają być generowane przez ogólny proces zamiany tekstu na mowę. systemu (TTS). Wynik fazy formułowania zachowania jest reprezentowany jako hierarchiczna procedura zakodowana w formacie XML oraz jako sekwencja mowy generowana przez TTS. Opis proceduralny jest zorientowany na zdarzenia i przedstawia dobrze określoną strukturę następujących po sobie ruchów części ciała, a także części ciała poruszających się równolegle. Druga faza nowatorskiej architektury przekształca opisy proceduralne w serię spójnych animacji poszczególnych części wyartykułowanego, ucieleśnionego agenta konwersacyjnego. W tym kontekście reprezentowane są także nowatorskie ramy realizacji oparte na ECA, zwane ramami EVA. Obsługuje realizację w czasie rzeczywistym opisów animacji proceduralnych i planów na wieloczęściowych modelach opartych na siatce, wykorzystując animację szkieletową, animację kształtu mieszania oraz animację predefiniowanych (wstępnie nagranych) animowanych segmentów. Dlatego w tej książce rozważamy kompletny projekt i wdrożenie ekspresyjnego modelu generowania zachowań współwerbalnych, który jest w stanie przekształcić tekst bez adnotacji w serię animowanych sekwencji zsynchronizowanych z mową.