Skip to main content
SpringerLink
Log in

Multimodale Interaktion in der Virtuellen Realität

  • Chapter
Mensch & Computer 2001

Part of the book series: Berichte des German Chapter of the ACM ((BGCACM,volume 55))

  • 508 Accesses

Zusammenfassung

Virtuelle Realität oder Virtual Reality (VR) bezeichnet ein neuartiges Kommunikationsmedium, das die unmittelbare Wechselwirkung des Menschen mit räumlich organisierten rechnergenerierten Darstellungen erlaubt. Verbunden mit körperlich verankerter Interaktion finden insbesondere gestische Eingaben starkes Interesse. Dieser Beitrag gibt einen Überblick über Forschungsarbeiten im Labor für Künstliche Intelligenz und Virtuelle Realität an der Universität Bielefeld, mit denen Grundlagen für den Einsatz gestischer und sprachlicher Interaktionstechniken entwickelt werden; als Erprobungsdomäne dient ein Szenario des virtuellen Konstruierens. Für die schnelle Erfassung komplexer Hand-Armgesten werden derzeit Datenhandschuhe und Körper-Tracker eingesetzt. Die Auswertung erfolgt mit wissensbasierten Ansätzen, die atomare Formelemente der Gestik symbolisch beschreiben und zu größeren Einheiten zusammensetzen. Ein zweites Thema ist die multimodale Interaktion durch sprachlich-gestische Eingaben, z.B. wenn auf einen Gegenstand gezeigt („dieses Rohr“) oder eine Drehrichtung („so herum“) signalisiert wird. Schließlich wird dargestellt, wie die Ansätze zur Formbeschreibung von Gesten für die Synthese natürlich wirkender gestischer Ausgaben mit einer artikulierten, anthropomorphen Figur übertragen werden können, die in laufenden Arbeiten mit Sprachausgaben koordiniert werden.

This is a preview of subscription content, log in via an institution to check access.

Access this chapter

Log in via an institution
Chapter
USD 29.95
Price excludes VAT (USA)
  • Available as PDF
  • Read on any device
  • Instant download
  • Own it forever
eBook
USD 49.95
Price excludes VAT (USA)
  • Available as PDF
  • Read on any device
  • Instant download
  • Own it forever
Softcover Book
USD 39.99
Price excludes VAT (USA)
  • Compact, lightweight edition
  • Dispatched in 3 to 5 business days
  • Free shipping worldwide - see info

Tax calculation will be finalised at checkout

Purchases are for personal use only

Institutional subscriptions

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literatur

  • Barfield, W. & Furness, T.A. (Eds.) (1995): Virtual Environments and Advanced Interface Design, Oxford University Press.

    Google Scholar 

  • Böhm, K., Hübner, W. & Väänänen, K. (1992): GIVEN: Gesture driven interactions in virtual environments: A toolkit approach to 3D interactions. Proc. Conf. Interface to Real and Virtual Worlds (Montpellier, France, March 1992).

    Google Scholar 

  • Burdea, G. & Coiffet, P. (1994): Virtual Reality Technology. New York: Wiley.

    Google Scholar 

  • Cavazza, M., Pouteau, X. & Pernel, D. (1995): Multimodal communication in virtual environments. In Y. Anzai et al. (Eds.): Symbiosis of Human and Artifact, pp. 597–604. Elsevier Science B.V.

    Google Scholar 

  • Cruz-Neira, C., Sandin, D.J., DeFanti, T.A. (1993): Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of the CAVE, Computer Graphics Vol. 27 (Proc. SIGGRAPH 93), 135–142.

    Google Scholar 

  • Cutler, L. D., B. Fröhlich, P. Hanrahan (1997): Two-Handed Direct Manipulation on the Responsive Workbench. Proceedings of the 1997 Symposium on Interactive 3D Graphics. ACM.

    Google Scholar 

  • Dai, F. (1998): Virtual Reality for Industrial Applications. Berlin u.a.: Springer.

    Google Scholar 

  • Dai, F. & M. Göbel. Virtual Prototyping — An approach using VR-techniques (1994): In Proc. of the 14th ASME Int. Computers in Engineering Conference, Minneapolis, September 11–14.

    Google Scholar 

  • Drews, P. & M. Weyrich (1998): Interactive Functional Evaluation in Virtual Prototyping Illustrated by an Example of a Construction Machine Design. In IECON’98 — Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society, Vol 4, IEEE, 2143–2145.

    Chapter  Google Scholar 

  • Fellner, D.W. & Hopp, A. (1997): MRT-VR Multi-User Virtual Environment, Proc. AAAI ’97.

    Google Scholar 

  • Fink, G.A., C. Schillo, F. Kummert & G. Sagerer (1998): Incremental speech recognition for multimodal interfaces. In Proc. 24th Annual Conference of the IEEE Industrial Electronics Society, 2012–2017.

    Google Scholar 

  • Fröhlich, M. & I. Wachsmuth (1998): Gesture recognition of the upper limbs — from signal to symbol. In I. Wachsmuth and M. Fröhlich (eds.): Gesture and Sign Language in Human-Computer Interaction (pp. 173–184). Berlin: Springer-Verlag (LNAI 1371).

    Chapter  Google Scholar 

  • Gausemeier, J., M. Grafe & R. Wortmann (1998): Interactive Planning of Manufacturing Systems with Virtual Construction Sets. In IECON’98 — Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society, Vol 4, IEEE, 2146–2151.

    Chapter  Google Scholar 

  • Guiard, Y. & T. Ferrand (1996): Asymmetry in Bimanual Skills. In Manual Asymmetries in Motor Performance, CRC Press.

    Google Scholar 

  • Gupta, R., Whitney, D. and Zeltzer, D. (1997): Prototyping and Design for Assembly Analysis Using Multimodal Virtual Environments. Computer-Aided Design, 29(8): 585–597.

    Article  Google Scholar 

  • Hauptmann, A.G. & P. McAvinney (1993): Gestures with speech for graphic manipulation. International Journal of Man Machine Studies, 38: 231–249.

    Article  Google Scholar 

  • Jayaram, S., Connacher, H.I. & Lyons, K.W. (1997): Virtual Assembly Using Virtual Reality Techniques. Computer-Aided Design, 29(8): 575–584.

    Article  Google Scholar 

  • Jörding, T. & I. Wachsmuth (1996): An Anthropomorphic Agent for the Use of Spatial Language, Proceedings of ECAI’96-Workshop „Representation and Processing of Spatial Expressions“(pp. 41–53), Budapest.

    Google Scholar 

  • Jung, B. & J.T. Milde (Hrsg.) (2000): KI — Künstliche Intelligenz 2/00, Themenheft zum Schwerpunkt „Intelligente virtuelle Umgebungen“.

    Google Scholar 

  • Jung, B. & I. Wachsmuth (1998): Integration of Geometric and Conceptual Reasoning for Interacting with Virtual Environments. Proc. AAAI ’98 Spring Symposium on Multimodal Reasoning, pp. 22–27.

    Google Scholar 

  • Jung, B., S. Kopp, M.E. Latoschik, T. Sowa & I. Wachsmuth (2000): Virtuelles Konstruieren mit Gestik und Sprache. KI — Künstliche Intelligenz 2/00, Themenheft zum Schwerpunkt „Intelligente virtuelle Umgebungen“, 5–11.

    Google Scholar 

  • Kopp, S. & B. Jung (2000): An Anthropomorphic Assistant for Virtual Assembly: Max. In Working Notes Workshop „Communicative Agents in Intelligent Virtual Environments“, Autonomous Agents 2000.

    Google Scholar 

  • Kopp, S. & I. Wachsmuth (2000): A Knowledge-based Approach for Lifelike Gesture Animation. In W. Horn (ed.): ECAI 2000 — Proceedings of the 14th European Conference on Artificial Intelligence, IOS Press, 663–667.

    Google Scholar 

  • Krüger, W., Bohn, C.A., Fröhlich, B., Schüth, H., Strauss, W., Wesche, G. (1995): „The Responsive Workbench: A Virtual Work Environment“, in: IEEE Computer, Vol. 28, No. 7.

    Google Scholar 

  • Latoschik, M. E. (2000): Multimodale Interaktion in Virtueller Realität am Beispiel des virtuellen Konstruierens. Eingereichte Dissertationsschrift, Technische Fakultät/Universität Bielefeld, Okt. 2000.

    Google Scholar 

  • Latoschik, M. E., M. Fröhlich, B. Jung & I. Wachsmuth (1998): Utilize Speech and Gestures to Realize Natural Interaction in a Virtual Environment. IECON’98 — Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society, Vol. 4, IEEE, 2028–2033.

    Google Scholar 

  • Latoschik, M. E., B. Jung & I. Wachsmuth (1999): Multimodale Interaktion mit einem System zur Virtuellen Konstruktion. In K. Beiersdörfer, G. Engels & W. Schäfer (Hrsg.): Informatik ’99, 29. Jahrestagung der Gesellschaft für Informatik, Paderborn. Berlin: Springer-Verlag, 88–97.

    Google Scholar 

  • Lenzmann, B. & I. Wachsmuth (1997): Contract-Net-Based Learning in a User-Adaptive Interface Agency. In Gerhard Weiss (ed.): Distributed Artificial Intelligence Meets Machine Learning. Learning in Multi-Agents Environments, (pp. 202–222), Berlin: Springer-Verlag (LNAI 1221).

    Google Scholar 

  • Lucente, M., Zwart, G. & George, A. D. (1998): Visualization space: A testbed for deviceless multimodal user interface. In Intelligent Environments Symposium, American Assoc. for Artificial Intelligence Spring Symposium Series.

    Google Scholar 

  • Luck, M. & R. Aylett (Eds.) (2000): Applied Artificial Intelligence 14(1), Special Issue „Intelligent Virtual Environments“.

    Google Scholar 

  • Mapes, D.P. & J.M. Moshell (1995): A Two-Handed Interface for Object Manipulation in Virtual Environments. Presence, 4(4): 403–416.

    Google Scholar 

  • Metaxas, D. M. (1996): Physics-Based Deformable Models. Applications to Computer Vision, Graphics and Medical Imaging. Boston: Kluwer Academic Publishers.

    Google Scholar 

  • Milne, M.R. (1997): ISAAC: A Meta-CAD System for Virtual Environments. Computer-Aided Design, 29(8): 547–553.

    Article  MathSciNet  Google Scholar 

  • Mine, M., F.P. Brooks & C. Sequin (1997): Moving Objects in Space: Exploiting Propriception in Virtual-Environment Interaction. Proceedings SIGGRAPH’97, ACM, 19–26.

    Google Scholar 

  • Prillwitz, S., R. Leven, H. Zienert, T. Hanke, and J. Henning (1989): HamNoSys Version 2.0: Hamburg Notation System for Sign Languages: An Introductory Guide. International Studies on Sign Language and Communication of the Deaf, Vol. 5. Hamburg: Signum Press.

    Google Scholar 

  • Shaw, C. & M. Green (1994): Two-Handed Polygonal Surface Design. Proceedings of the ACM Symposium on User Interface Software an Technology, 205–212.

    Google Scholar 

  • Sowa, T., M. Fröhlich & M. Latoschik (1999): Temporal Symbolic Integration Applied to a Multimodal System Using Gestures and Speech. In A. Braffort et al. (Eds.), Gesture-based Communication in Human-Computer Interaction — Proceedings GW’99 (pp. 291–302). Berlin: Springer-Verlag (LNAI1739).

    Chapter  Google Scholar 

  • Sparrell, C. J. & Koons, D. B. (1994): Interpretation of coverbal depictive gestures. In AAAI Spring Symposium Series (pp. 8–12), Stanford University.

    Google Scholar 

  • Srihari, R.K. (1994): Computational models for integrating linguistic and visual information: A survey. Artificial Intelligence Review, 8: 349–369.

    Article  Google Scholar 

  • van Dam, A. (1997): Post-WIMP User Interfaces, Communications of the ACM, Vol. 40 (2), 63–67.

    Article  MathSciNet  Google Scholar 

  • Wachsmuth, I. (1998): Das aktuelle Schlagwort: Virtuelle Realität, KI — Künstliche Intelligenz 98/1, 34.

    Google Scholar 

  • Wachsmuth, I. & Cao, Y. (1995): Interactive Graphics Design with Situated Agents. In W. Strasser & F. Wahl (eds.): Graphics and Robotics (pp. 73–85). Berlin: Springer-Verlag.

    Chapter  Google Scholar 

  • Weimer, D. & S.K. Ganapathy (1989): A synthetic visual environment with hand gesturing and voice input. In CHI 89 Conference Proceedings, Human Factors in Computing Systems (pp. 235–240).

    Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Technisch Fakultät, AG Wissenbasierte System, Universität Bielefeld, Universitätsstr. 25, 33615, Bielefeld, Deutschland

    Prof. Dr. Ipke Wachsmuth, Ian Voss, Timo Sowa, Marc E. Latoschik, Stefan Kopp & Bernhard Jung

Authors
  1. Prof. Dr. Ipke Wachsmuth
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Ian Voss
    View author publications

    You can also search for this author in PubMed Google Scholar

  3. Timo Sowa
    View author publications

    You can also search for this author in PubMed Google Scholar

  4. Marc E. Latoschik
    View author publications

    You can also search for this author in PubMed Google Scholar

  5. Stefan Kopp
    View author publications

    You can also search for this author in PubMed Google Scholar

  6. Bernhard Jung
    View author publications

    You can also search for this author in PubMed Google Scholar

Editor information

Editors and Affiliations

  1. Fachbereich Informatik, Angewandte und sozialorientierte Informatik (ASI), Universität Hamburg, Vogt-Kölln-Str. 30, 22527, Hamburg, Deutschland

    Horst Oberquelle

  2. GMD FIT, Forschungszentrum Informationstechnologie GmbH, 53754, St. Augustin, Deutschland

    Reinhard Oppermann

  3. Informationszentrum Sozialwissenschaften, Universität Koblenz-Landau, Lennéstr. 30, 53113, Bonn, Deutschland

    Jürgen Krause

Rights and permissions

Reprints and permissions

Copyright information

© 2001 B. G. Teubner GmbH, Stuttgart/Leipzig/Wiesbaden

About this chapter

Cite this chapter

Wachsmuth, I., Voss, I., Sowa, T., Latoschik, M.E., Kopp, S., Jung, B. (2001). Multimodale Interaktion in der Virtuellen Realität. In: Oberquelle, H., Oppermann, R., Krause, J. (eds) Mensch & Computer 2001. Berichte des German Chapter of the ACM, vol 55. Vieweg+Teubner Verlag. https://doi.org/10.1007/978-3-322-80108-1_28

Download citation

  • DOI: https://doi.org/10.1007/978-3-322-80108-1_28

  • Publisher Name: Vieweg+Teubner Verlag

  • Print ISBN: 978-3-519-02748-5

  • Online ISBN: 978-3-322-80108-1

  • eBook Packages: Springer Book Archive

Publish with us

Policies and ethics

Search

Navigation