Situierte Generierung deiktischer Objektreferenz in der multimodalen Mensch-Maschine-Interaktion

Der in sprachliche Äußerungen eingebettete zeigende Bezug auf Objekte (deiktische Objektreferenz) stellt ein hochaktuelles Forschungsthema dar. Dies gilt nicht nur für die Linguistik, sondern auch für die multimodale Mensch-Maschine-Interaktion, insbesondere im Hinblick auf dialogfähige verkörperte Agenten, die Sprache und Gestik verarbeiten sollen.
Auf der Basis umfangreicher empirischer Untersuchungen und einer detaillierten Analyse der referentiellen Funktion von Zeigen entwickelt die vorliegende Arbeit ein effizientes algorithmisches Verfahren für die inkrementelle Generierung multimodaler Objektreferenzen und beschreibt eine prototypische Realisierung in einem Demonstrator-Setting.
Der MREG-Algorithmus (Multimodal Referring Expression Generation) generiert Ausdrücke, die in ihrer Struktur die von Menschen produzierten Ausdrücke in hohem Maße reproduzieren. Gegenüber unimodalen Ansätzen bietet das Verfahren den Vorteil, dass die multimodale Referenzierung unter Einschluss von Zeigegesten in vielen Fällen kürzere und natürlichere Ausdrücke liefert als eine rein sprachliche Referenzierung. Auch in wechselnden und heterogenen Kontexten werden so robuste Referenzen mit leicht verständlichen Ausdrücken sichergestellt.