Skip to main content
SpringerLink
Log in

Multimodalität als Herausforderung für die Visuelle Kommunikationsforschung

Handbuch Visuelle Kommunikationsforschung

Part of the book series: Springer Reference Sozialwissenschaften ((SRS))

  • 1025 Accesses

Zusammenfassung

Abbildungen ebenso wie Texte oder gesprochene Sprache kommen in der Medienkommunikation nicht isoliert vor, sondern in Kombination mit anderen Modi. Medienkommunikation ist dementsprechend immer multimodal. Insofern stellt der Begriff der visuellen Kommunikation eine Vereinfachung der hybriden Medienlogik dar. Der Beitrag zeigt erstens, zu welchen analytischen Verkürzungen eine Vernachlässigung der intermodalen Relationen führen kann und stellt zweitens die wichtigsten Ansätze zur Multimodalität vor. In einem dritten Schritt wird demonstriert, wie unter einer multimodalen Perspektive zentrale Probleme der visuellen Kommunikationsforschung angegangen werden können.

This is a preview of subscription content, log in via an institution to check access.

Access this chapter

Log in via an institution

Institutional subscriptions

Literatur

  • Adami, E. (2015). What’s in a click? A social semiotic framework for the multimodal analysis of website interactivity. Visual Communication, 14(2), 133–153.

    Article  Google Scholar 

  • Altheide, D., & Snow, R. (1988). Toward a theory of mediation. Communication Yearbook, 11, 194–223.

    Google Scholar 

  • Baldry, A., & Thibault, P. J. (2005). Multimodal transcription and text analysis. A multimedia toolkit and coursebook with associated online-course. London/Oakville: Equinox.

    Google Scholar 

  • Barnhurst, K. G., & Nerone, J. C. (2001). The form of news. A history. New York/London: The Guildford Press.

    Google Scholar 

  • Barnhurst, K. G., Vari, M., & Rodríguez, Í. (2004). Mapping visual studies in communication. Journal of Communication, 54(4), 616–644.

    Article  Google Scholar 

  • Barthes, R. (1990a [1982]). Die Fotografie als Botschaft. In R. Barthes (Hrsg.), Der entgegenkommende und der stumpfe Sinn (S. 11–27). Frankfurt a. M.: Suhrkamp.

    Google Scholar 

  • Barthes, R. (1990b [1982]). Rhetorik des Bildes. In R. Barthes (Hrsg.), Der entgegenkommende und der stumpfe Sinn (S. 28–46). Frankfurt a. M.: Suhrkamp.

    Google Scholar 

  • Bateman, J. (2008). Multimodality and genre: A foundation for the systematic analysis of multimodal documents. London: Palgrave Macmillan.

    Book  Google Scholar 

  • Bateman, J. (2011). The decomposability of semiotic modes. In K. L. O’Halloran & B. A. Smith (Hrsg.), Multimodal studies. Exploring issues and domains (S. 17–38). New York/London: Routledge.

    Google Scholar 

  • Bateman, J. (2014). Text and image. A critical introduction to the visual/verbal divide. London/New York: Routledge.

    Google Scholar 

  • Bateman, J. (2016). Methodological and theoretical issues for the empirical investigation of multimodality. In N.-M. Klug & H. Stöckl (Hrsg.), Sprache im multimodalen Kontext/Language and Multimodality (S. 36–74). Berlin: de Gruyter Mouton.

    Google Scholar 

  • Bateman, J., & Schmidt, K. (2012). Multimodal film analysis: How films mean. New York: Routledge.

    Google Scholar 

  • Bateman, J., & Wildfeuer, J. (2014). A multimodal discourse theory of visual narrative. Journal of Pragmatics, 74, 180–208.

    Article  Google Scholar 

  • Blum, J., & Bucher, H.-J. (1998). Die Zeitung: Ein Multimedium. Textdesign – ein Gestaltungskonzept für Text, Bild und Grafik. Konstanz: UVK Verlag.

    Google Scholar 

  • Bucher, H.-J. (2007). Textdesign und Multimodalität. Zur Semantik und Pragmatik medialer Gestaltungsformen. In K. S. Roth & J. Spitzmüller (Hrsg.), Textdesign und Textwirkung in der massenmedialen Kommunikation (S. 49–76). Konstanz: UVK Verlag.

    Google Scholar 

  • Bucher, H.-J. (2010). Multimodalität – eine Universalie des Medienwandels: Problemstellungen und Theorien der Multimodalitätsforschung. In H.-J. Bucher, T. Gloning & K. Lehnen (Hrsg.), Neue Medien – Neue Formate. Ausdifferenzierung und Konvergenz in der Medienkommunikation (S. 41–79). Frankfurt a. M./New York: Campus Verlag.

    Google Scholar 

  • Bucher, H.-J. (2011a). Multimodales Verstehen oder Rezeption als Interaktion. Theoretische und empirische Grundlagen einer systematischen Analyse der Multimodalität. In H. Dieckmannshenke, M. Klemm & H. Stöckl (Hrsg.), Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 123–156). Berlin: Erich Schmidt Verlag.

    Google Scholar 

  • Bucher, H.-J. (2011b). „Man sieht, was man hört“ oder: Multimodales Verstehen als interaktionale Aneignung. Eine Blickaufzeichnungsstudie zur audiovisuellen Rezeption. In J. Schneider & H. Stöckl (Hrsg.), Medientheorien und Multimodalität. Ein TV-Werbespot – Sieben methodische Beschreibungsansätze (S. 109–150). Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Bucher, H.-J. (2012a). Intermodale Effekte in der audio-visuellen Kommunikation. Blickaufzeichnungsstudie zur Rezeption von zwei Werbespots. In H.-J. Bucher & P. Schumacher (Hrsg.), Interaktionale Rezeptionsforschung. Theorie und Methode der Blickaufzeichnung in der Medienforschung (S. 257–296). Wiesbaden: Springer.

    Chapter  Google Scholar 

  • Bucher, H.-J. (2012b). Multimodalität – ein universelles Merkmal der Medienkommunikation. Zum Verhältnis von Medienangebot und Medienrezeption. In H.-J. Bucher & P. Schumacher (Hrsg.), Interaktionale Rezeptionsforschung. Theorie und Methode der Blickaufzeichnung in der Medienforschung (S. 51–82). Wiesbaden: Springer.

    Chapter  Google Scholar 

  • Bucher, H.-J. (2013). Online-Diskurse als multimodale Netzwerk-Kommunikation. Plädoyer für eine Paradigmenerweiterung. In C. Fraas, S. Meier & C. Pentzold (Hrsg.), Online-Diskurse. Theorien und Methoden transmedialer Online-Diskursforschung (S. 57–101). Köln: Herbert Halem Verlag.

    Google Scholar 

  • Bucher, H.-J. (2016). Mehr als Text mit Bild. Zur Multimodalität der Illustrierten Zeitungen im 19. Jahrhundert. In N. Igl & J. Menzel (Hrsg.), Illustrierte Zeitschriften um 1900: Mediale Eigenlogik, Multimodalität und Metaisierung. (Reihe Medienwissenschaft) (S. 26–72). Bielefeld: transcript.

    Google Scholar 

  • Bucher, H.-J., & Schumacher, P. (2006). The relevance of attention for selecting news content. An eye-tracking study on attention patterns in the reception of print- and online media. Communications, 31(3), 347–368.

    Article  Google Scholar 

  • Coleman, R. (2010). Framing the pictures in our head. In P. D’Angelo & J. A. Kuypers (Hrsg.), Doing news framing analysis (S. 233–262). New York: Routledge.

    Google Scholar 

  • Dobos, A. R., Orthia, L. A., & Lamberts, R. (2015). Does a picture tell a thousand words? The uses of digitally produced, multimodal pictures for communicating information about Alzheimer’s disease. Public Understanding of Science, 24(6), 712–730.

    Article  Google Scholar 

  • Elleström, L. (2010). Media borders, multimodality and intermediality. Basingstoke: Palgrave Macmillan.

    Book  Google Scholar 

  • Entman, R. M. (1993). Framing: Toward clarification of a fractured paradigm. Journal of Communication, 43(4), 51–58.

    Article  Google Scholar 

  • Forceville, C. (2011). Pictorial runes in Tintin and the Picaros. Journal of Pragmatics, 43(3), 875–890.

    Article  Google Scholar 

  • Forceville, C. (2014). Relevance theory as model for analysing visual and multimodal communication. In D. Machin (Hrsg.), Visual communication (S. 51–70). Berlin/Boston: de Gruyter.

    Google Scholar 

  • Fritz, G. (2013). Dynamische Texttheorie. Linguistische Untersuchungen. Gießen: Gießener Elektronische Bibliothek.

    Google Scholar 

  • Geise, S., & Lobinger, K. (2013). Visual Framing – Perspektiven und Herausforderungen der visuellen Kommunikationsforschung. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Geise, S., & Rössler, P. (2012). Visuelle Inhaltsanalyse: Ein Vorschlag zur theoretischen Dimensionierung der Erfassung von Bildinhalten. Medien & Kommunikationswissenschaft, 60(3), 341–361.

    Article  Google Scholar 

  • Goffman, E. (1977 [1974]). Rahmen-Analyse. Ein Versuch über die Organisation von Alltagserfahrungen. Frankfurt a. M.: Suhrkamp.

    Google Scholar 

  • Grice, H. P. (1975). Logic and conversation. In P. Cole & J. L. Morgan (Hrsg.), Syntax and semantics (Speech acts, Bd. 3, S. 41–58). New York: Academic.

    Google Scholar 

  • Grittmann, E., & Ammann, I. (2011). Quantitative Bildtypenanalyse. In T. Petersen & C. Schwender (Hrsg.), Die Entschlüsselung der Bilder. Methoden zur Erforschung visueller Kommunikation. Ein Handbuch (S. 163–178). Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Grittmann, E., & Lobinger, K. (2011). Quantitative Bildinhaltsanalyse. In T. Petersen & C. Schwender (Hrsg.), Die Entschlüsselung der Bilder. Methoden zur Erforschung visueller Kommunikation. Ein Handbuch (S. 145–162). Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Halliday, M. A. K. (1979). Language as social semiotic. The social interpretation of language and meaning. London: Edward Arnold.

    Google Scholar 

  • Halliday, M. A. K. (2004). An introduction to functional grammar. London: Hodder Arnold.

    Google Scholar 

  • Holly, W. (2006). Mit Worten sehen. Audiovisuelle Bedeutungskonstitution und Muster transkriptiver Logik in der Fernsehberichterstattung. Deutsche Sprache, 1–2, 135–150.

    Google Scholar 

  • Holsanova, J. (2011). How we focus attention in picture viewing, picture description and mental imagery. In K. Sachs-Hombach & R. Totzke (Hrsg.), Bilder – Sehen – Denken. Zum Verhältnis von begrifflich-philosophischen und empirisch-psychologischen Ansätzen in der bildwissenschaftlichen Forschung (S. 291–313). Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Holsanova, J., Holmqvist, K., & Holmberg, N. (2008). Reading information graphics: The role of spatial contiguity and dual attentional guidance. Applied Cognitive Psychology, 23(9), 1215–1226.

    Article  Google Scholar 

  • Itti, L., & Koch, C. (2000). A salience-based search mechanism for overt and covert shifts of visual attention. Vision Research, 40(2000), 1489–1509.

    Article  Google Scholar 

  • Jewitt, C. (2009a). Introduction to multimodality. In C. Jewitt (Hrsg.), The Routledge handbook of multimodal analysis (S. 14–27). London: Routledge.

    Google Scholar 

  • Jewitt, C. (2009b). Different approaches to multimodality. In C. Jewitt (Hrsg.), The Routledge handbook of multimodal analysis (S. 28–39). London: Routledge.

    Google Scholar 

  • Keller, R. (1995). Zeichentheorie. Zu einer Theorie semiotischen Wissens. Tübingen/Basel: Francke Verlag.

    Google Scholar 

  • Kepplinger, H. M. (1987). Darstellungseffekte. Experimentelle Untersuchungen zur Wirkung von Pressefotos und Fernsehfilmen. Freiburg/München: Karl Albert.

    Google Scholar 

  • Knox, J. S. (2009). Multimodal discourse on online newspaper home pages: A social-semiotic perspective. Dissertation Department of Linguistics. Sydney: University of Sydney.

    Google Scholar 

  • Kress, G. (2002). The multimodal landscape of communication. Medien-Journal, 26(4), 4–18.

    Google Scholar 

  • Kress, G. (2010). Multimodality. A social semiotic approach to contemporary communication. London/New York: Routledge.

    Google Scholar 

  • Kress, G., & Van Leeuwen, T. (1996). Reading images. The grammar of visual design. New York: Routledge.

    Google Scholar 

  • Kress, G., & van Leeuwen, T. (1998). Front pages. The critical analysis of newspaper layout. In A. Bell & P. Garrett (Hrsg.), Approaches to media discourse (S. 186–219). Oxford: Blackwell.

    Google Scholar 

  • Kress, G., & van Leeuwen, T. (2001). Multimodal discourse. The modes and media of contemporary communication. London: Arnold.

    Google Scholar 

  • van Leeuwen, T. (1999). Speech, music, sound. London: Macmillan.

    Google Scholar 

  • van Leeuwen, T. (2005). Multimodality, genre and design. In S. Norris & R. H. Jones (Hrsg.), Discourse in action: Introducing mediated discourse analysis (S. 73–93). London: Routledge.

    Google Scholar 

  • Lemke, J. L. (1998). Multiplying meaning: Visual and verbal semiotics in scientific text. In J. R. Martin & R. Veel (Hrsg.), Reading science. Critical and functional perspectives on discourses of science (S. 87–113). London: Routledge.

    Google Scholar 

  • Lim, F. V. (2004). Developing an integrative multi-semiotic model. In K. L. O’Halloran (Hrsg.), Multimodal discourse analysis. Systemic functional perspectives. London/New York: Continuum.

    Google Scholar 

  • Liu, Y., & O’Halloran, K. L. (2009). Intersemiotic texture: Analyzing cohesive devices between language and images. Social Semiotics, 19(4), 367–388.

    Article  Google Scholar 

  • Lobinger, K., & Geise, S. (2013). ‚Does the frame remain the same?‘ Visual Framing und Multimodalität als methodische Herausforderung der Visuellen Kommunikationsforschung. In S. Geise & K. Lobinger (Hrsg.), Visual Framing – Perspektiven und Herausforderungen der visuellen Kommunikationsforschung (S. 332–357). Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Martinec, R., & Salway, A. (2005). A system for image-text relations in new (and old) media. Visual Communication, 4(3), 337–371.

    Article  Google Scholar 

  • Martinec, R., & van Leeuwen, T. (2009). The language of new media design. Theory and practice. London/New York: Routledge.

    Google Scholar 

  • Messaris, P., & Abraham, L. (2001). The role of images in framing news stories. In S. D. Reese, O. H. Gandy Jr. & A. E. Grant (Hrsg.), Framing public life. Perspectives on media and our understanding of the social world (S. 215–226). New York: Routledge.

    Google Scholar 

  • Mitchell, W. J. T. (2005). There are no visual media. Journal of Visual Culture, 4(2), 257–266.

    Article  Google Scholar 

  • Mitchell, W. T. J. (2009). Vier Grundbegriffe der Bildwissenschaft. In K. Sachs-Hombach (Hrsg.), Bildtheorien. Anthropologische und kulturelle Grundlagen des Visualistic Turn (S. 319–327). Frankfurt a. M.: Suhrkamp.

    Google Scholar 

  • Muckenhaupt, M. (1986). Text und Bild. Grundfragen der Beschreibung von Text-Bild-Kommunikationen aus sprachwissenschaftlicher Sicht. Tübingen: Narr Verlag.

    Google Scholar 

  • Müller, M. G. (2001). Bilder – Visionen – Wirklichkeiten. Zur Bedeutung der Bildwissenschaft im 21. Jahrhundert. In M. G. Müller & T. Knieper (Hrsg.), Kommunikation visuell: Das Bild als Forschungsgegenstand – Grundlagen und Perspektive (S. 14–24). Köln: Herber von Halem Verlag.

    Google Scholar 

  • Müller, M. G., & Geise, S. (2015). Grundlagen der Visuellen Kommunikation (2. Aufl.). Konstanz/München: UVK Verlagsgesellschaft.

    Google Scholar 

  • O’Halloran, K. L. (1999). Interdependence, interaction and metaphor in multisemiotic texts. Social Semiotics, 9(3), 317–354.

    Article  Google Scholar 

  • O’Halloran, K. L. (2004). Multimodal discourse analysis. Systemic functional perspectives. Open linguistic series. London/New York: Continuum.

    Google Scholar 

  • O’Halloran, K. L. (2008). Systemic functional-multimodal discourse analysis (SF-MDA): Constructing ideational meaning using language and visual imagery. Visual Communication, 7(4), 443–475.

    Article  Google Scholar 

  • Panofsky, E. (1939/1955). Ikonografie und Ikonologie. In E. Kaemmerling (Hrsg.), Ikonografie und Ikonologie. Theorien – Entwicklungen – Probleme. Bildende Kunst als Zeichensystem (Bd. 1, S. 207–255). Köln: Dumont.

    Google Scholar 

  • Pauwels, L. (2006). Visual cultures of science. Rethinking representational practices in knowledge building and science communication. London: University Press of New England.

    Google Scholar 

  • Peirce, C. S. (1990). Semiotische Schriften. Frankfurt a. M.: Suhrkamp.

    Google Scholar 

  • Rodriguez, L., & Dimitrova, D. V. (2011). The levels of visual framing. Journal of Visual Literacy, 30(1), 48–65.

    Article  Google Scholar 

  • Sachs-Hombach, K. (2003). Das Bild als kommunikatives Medium. Elemente einer allgemeinen Bildwissenschaft. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Scheufele, B. (2003). Frames – Framing – Framing-Effekte. Theoretische und methodische Grundlegung des Framing-Ansatzes sowie empirische Befunde zur Nachrichtenproduktion. Wiesbaden: Westdeutscher Verlag.

    Google Scholar 

  • Schneider, J., & Stöckl, H. (Hrsg.). (2011). Medientheorien und Multimodalität. Ein TV-Spot – Sieben methodische Beschreibungsansätze. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Scholz, O. R. (2004). Bild, Darstellung, Zeichen. Philosophische Theorien bildlicher Darstellung. Frankfurt a. M.: Klostermann.

    Google Scholar 

  • Schröder, T. (2010). Die Bilder-Zeitung. Wie ein Textmedium zu einem Medium der visuellen Kommunikation wird. In H.-J. Bucher, T. Gloning & K. Lehnen (Hrsg.), Neue Medien – Neue Formate. Ausdifferenzierung und Konvergenz in der Medienkommunikation (S. 169–188). Frankfurt a. M./New York: Campus Verlag.

    Google Scholar 

  • Sperber, D., & Wilson, D. (1986). Relevance. Communication and cognition. Cambridge: Harvard University Press.

    Google Scholar 

  • Sperber, D., & Wilson, D. (2012). Introduction: Pragmatics. In D. Wilson & D. Sperber (Hrsg.), Meaning and relevance (S. 1–27). Cambridge: Cambridge University Press.

    Chapter  Google Scholar 

  • Thomas, M. (2014). Evidence and circularity in multimodal discourse analysis. Visual Communication, 13(2), 163–189.

    Article  Google Scholar 

  • Tomasello, M. (2009). Die Ursprünge der menschlichen Kommunikation. Frankfurt a. M.: Suhrkamp.

    Google Scholar 

  • de Vreese, C. H. (2004). The effects of frames in political television news on issue interpretation and frame salience. Journalism and Mass Communication Quarterly, 81(1), 36–52.

    Google Scholar 

  • Wittgenstein, L. (1977 [1958]). Philosophische Untersuchungen. Frankfurt a. M.: Suhrkamp.

    Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Universität Trier, Trier, Deutschland

    H.-J. Bucher

Authors
  1. H.-J. Bucher
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to H.-J. Bucher .

Editor information

Editors and Affiliations

  1. Zentrum für Medienforschung, Univ. Bremen, Bremen, Germany

    Katharina Lobinger

Rights and permissions

Reprints and permissions

Copyright information

© 2017 Springer Fachmedien Wiesbaden GmbH

About this entry

Cite this entry

Bucher, HJ. (2017). Multimodalität als Herausforderung für die Visuelle Kommunikationsforschung. In: Lobinger, K. (eds) Handbuch Visuelle Kommunikationsforschung. Springer Reference Sozialwissenschaften. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-06738-0_31-2

Download citation

  • DOI: https://doi.org/10.1007/978-3-658-06738-0_31-2

  • Received:

  • Accepted:

  • Published:

  • Publisher Name: Springer VS, Wiesbaden

  • Print ISBN: 978-3-658-06738-0

  • Online ISBN: 978-3-658-06738-0

  • eBook Packages: Springer Referenz Sozialwissenschaften und Recht

Publish with us

Policies and ethics

Chapter history

  1. Latest

    Multimodalität als Herausforderung für die Visuelle Kommunikationsforschung
    Published:
    05 May 2017

    DOI: https://doi.org/10.1007/978-3-658-06738-0_31-2

  2. Original

    Herausforderung für die Visuelle Kommunikationsforschung
    Published:
    16 February 2017

    DOI: https://doi.org/10.1007/978-3-658-06738-0_31-1

Search

Navigation