Methods for the Intentional Description of Image Sequences

Abstract

The system REPLAI-II extends the range of capabilities of natural language systems describing real-world image sequences. The systems developed so far in this field merely extract spatio-temporal information from image sequences and verbalize it in natural language. Such a system is, for instance, the system SOCCER, which describes extracts of soccer games in German ([AHR88], [HSA+89]). REPLAI-II extends this description generation by recognizing and verbalizing intentional entities such as intentions, interactions and the causes of plan failures. Intentions are central to all goal-directed behaviour and are realized by carrying out plans. Interactions typically occur in domains containing multiple agents. We distinguish cooperative and antagonistic interactions between the plans of multiple agents. In addition, REPLAI-II tries to recognize plan failures and to determine their causes. The recognized entities are verbalized in natural language (German).

Zusammenfassung

Das System REPLAI-II soll die Möglichkeiten der natürlichsprachlichen Beschreibung von Szenenfolgen erweitern. Die bisher in diesem Bereich entwickelten Systeme extrahieren aus Realwelt-Bildfolgen nur räum-zeitliche Informationen und geben sie in natürlicher Sprache aus. Ein solches System ist beispielsweise SOCCER, das Ausschnitte aus Fußballspielen in deutscher Sprache kommentiert ([AHR88], [HSA+89]). REPLAI-II erweitert die Beschreibung, indem es intentionale Entitäten — wie Intentionen, Interaktionen und Ursachen für das Scheitern von Plänen — erkennt und verbalisiert. Intentionen sind für jedes zielgerichtete Handeln von zentraler Bedeutung und werden durch die Ausführung von Plänen verwirklicht. Interaktionen treten typischerweise in Domänen mit mehreren Agenten auf. Dabei unterscheiden wir kooperative und antagonistische Interaktionen zwischen den Plänen verschiedener Agenten. Weiterhin versucht REPLAI-II das Scheitern von Plänen zu erkennen und die Ursachen hierfür zu bestimmen. Die erkannten Entitäten werden in deutscher Sprache verbalisiert.

The work reported in this article was partially supported by the Special Collaborative Program on Artificial Intelligence and Knowledge-Based Systems (SFB 314) of the German Science Foundation (DFG), project N2: VITRA.