Zusammenfassung
Dieser Beitrag stellt ein System für die sprachlich-gestische Interaktion zur Steuerung eines Systems zur Virtuellen Konstruktion vor. Eine Übersicht über verschiedene Manipulationsaufgaben in dieser Domäne dient als Grundlage, um Interaktionsbeispiele zu erläutern. Neben deiktischen Gesten des Benutzers werden mimetische Gesten, die gewünschte Veränderungen „vormachen“, betrachtet. Diese werden durch sprachliche oder gestische Trigger eingeleitet und bewirken eine Anpassung in den Funktionsmodi der Auswertung, wobei zwischen diskreten und kontinuierlichen Interaktionen unterschieden wird. Um kontinuierliche Modifikationen in der virtuellen Szene umzusetzen, werden neben dem Konzept der Manipulatoren sogenannte Aktuatoren als Repräsentanten für Benutzermodalitäten sowie Motion-Modifikatoren zur Korrektur unscharfer Sensor-Eingaben eingeführt.
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Preview
Unable to display preview. Download preview PDF.
Literatur
K. Böhm, W. Hübner and K. Väänänen: GIVEN: Gesture Driven Interactions in Virtual Environments, A Toolkit Approach to 3D Interactions. In Interfaces to Real and Virtual Worlds, Montpellier, France, 1992.
K. Böhm, W. Broll and M. Sokolewicz: Dynamic Gesture Recognition Using Neural Networks; A Fundament for Advanced Interaction Construction. In SPIE Conference Electronic Imaging Science and Technology, San Jose California, USA, 1994.
R. A. Bolt: „Put-That-There“: Voice and Gesture at the Graphics Interface, Computer Graphics 14 (3), S. 262–270, 1980.
G. A. Fink, C. Schillo, F. Kummert and G. Sagerer: Incremental speech recognition for multimodal interfaces. In IECON’98: Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society, Vol. 4, IEEE, 1998.
A. G. Hauptmann and P. McAvinney: Gestures with speech for graphic manipulation. In International Journal of Man-Machine Studies, Vol. 38, S. 231–249, 1993.
C. Huls, E. Bos and W. Claassen: Automatic Referent Resolution of Deictic and Anaphoric Expressions. In Computational Linguistics, Vol. 21, No 1, S. 59–79, 1995.
B. Jung, M. Latoschik and I. Wachsmuth: Knowledge-Based Assembly Simulation for Virtual Prototype Modeling. IECON’98 -Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society, Vol. 4, IEEE, 1998, 2152–2157.
D. B. Koons, C. J. Sparrell and K. R. Thorisson: Integrating Simultaneous Input from Speech, Gaze, and Hand Gestures. In M. Maybury (Ed.): Intelligent Multimedia Interfaces, AAAI Press, S. 257–276, 1993.
S. Kopp: Ein wissensbasierter Ansatz zur Modellierung von Verbindungen zur virtuellen Montage, Diplomarbeit an der Technischen Fakultät der Universität Bielefeld, 1998.
M. Latoschik and I. Wachsmuth: Exploiting Distant Pointing Gestures for Object Selection in a Virtual Environment. In I. Wachsmuth and M. Fröhlich (Eds.): Gesture and Sign Language in Human-Computer Interaction, (pp. 185–196), Lecture Notes in Artificial Intelligence, Volume 1371, Springer-Verlag, 1998.
M. Latoschik, M. Fröhlich, B. Jung and I. Wachsmuth: Utilize Speech and Gestures to Realize Natural Interaction in a Virtual Environment. IECON’98-Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society, Vol. 4, IEEE, S. 2028–2033, 1998.
B. Lenzmann: Benutzeradaptive und Multimodale Interface-Agenten. Dissertation an der Technischen Fakultät der Universität Bielefeld, Infix Verlag, DISKI 184, 1998.
M. T. Maybury: Research in Multimedia and Multimodal Parsing and Generation. In P. McKevitt (Eds.): Journal of Artificial Intelligence Review: Special Issue on the Integration of natural Language and Vision Processing, Vol. 9, Kluwer, 1995.
H. Tramberend: Avocado: A Distributed Virtual Reality Framework. In L. Rosenblum, P. Astheimer and D. Teichmann (Eds.): Proceedings of the Virtual Relity’99 IEEE Conference, Houston, USA, S. 14–21, 1999.
D. Weimer and S. K. Ganapathy: Interaction Techniques using Hand Tracking and Speech Recognition. In M. M. Blattner and R. B. Dannenberg (Eds.): Multimedia Interface Design, ACM Press, S. 109–126, 1992.
A. D. Wexelblat: An Approach to Natural Gesture in Virtual Environments. In ACM Transactions on Computer-Human Interaction, Special Issue on Virtual Reality Software and Technology, Vol. 2 #3, 1995.
Author information
Authors and Affiliations
Editor information
Editors and Affiliations
Rights and permissions
Copyright information
© 1999 Springer-Verlag Berlin Heidelberg
About this paper
Cite this paper
Latoschik, M.E., Jung, B., Wachsmuth, I. (1999). Multimodale Interaktion mit einem System zur Virtuellen Konstruktion. In: Beiersdörfer, K., Engels, G., Schäfer, W. (eds) Informatik’99. Informatik aktuell. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-662-01069-3_19
Download citation
DOI: https://doi.org/10.1007/978-3-662-01069-3_19
Publisher Name: Springer, Berlin, Heidelberg
Print ISBN: 978-3-540-66450-5
Online ISBN: 978-3-662-01069-3
eBook Packages: Springer Book Archive