Advertisement

Messfehler in der Harmonisierung soziodemographischer Variablen für den internationalen Vergleich

  • Jürgen H.P. Hoffmeyer-ZlotnikEmail author
  • Uwe Warner
Chapter
Part of the Schriftenreihe der ASI - Arbeitsgemeinschaft Sozialwissenschaftlicher Institute book series (SASI)

Zusammenfassung

Die Güte von Umfragedaten ist das zentrale Anliegen des „Total Survey Error“ Ansatzes. Dabei stehen nationale Surveys im Vordergrund der Betrachtungen, während Messfehler in internationalen länder- und kulturvergleichenden Datenerhebungen kaum diskutiert werden. In unserem Beitrag stellen wir Probleme der vergleichenden Messung soziodemographischer Hintergrundmerkmale dar. Vielfältige Literatur findet sich zu der angemessenen Übersetzung der Erhebungsinstrumente sozialwissenschaftlicher Surveys. Aber in der Gesamtheit und Komplexität vergleichender Umfragen identifizieren wir weitere Fehlerquellen, die besonders aus fehlerhafter oder missgeleiteter Harmonisierung entstehen. Über diese Schwächen gibt es wenig bis keine Literatur. Sehr kurz werden wir auf Übersetzungsprobleme am Beispiel falscher sprachlicher Übertragung eingehen. Ausführlich stellen wir die fehlerhafte Auswahl der Referenzstatistik dar, die zur Bildung der Antwortkategorien benötigt wird (z.B. Nettohaushaltseinkommen und die Dezile der nationalen Einkommensverteilungen). Am Beispiel „privater Haushalt“ diskutieren wir die Bedeutung verschiedener nationaler, kultureller Konzepte, die einer Messung zugrunde liegen. Die Anwendung unterschiedlicher Konzepte generiert nicht oder nur bedingt vergleichbare Messwerte über die Länder und Kulturen. Die mangelhafte Umsetzung in ternational vereinbarter Messkonzepte in nationale Datenerhebungen stellen wir am Beispiel „höchster Bildungsabschluss“ dar. Zusammenfassend argumentieren wir, dass in länder- und kulturenvergleichenden Sozialerhebungen die Güte der Daten mehr ist als die bloße Vervielfältigung des „Total Survey Errors“ auf die teilnehmenden Länder und Kulturen. Sprachliche Äquivalenzen, strukturelle gesellschaftliche Unterschiede mit ihren unterschiedlichen Bürokratien und Prozeduren, gesetzliche Bedingungen der Bevölkerungsbefragung, kulturelle Unterschiede der messenden Items und unterschiedliche Gewohnheiten der Interviewdurchführung sind nicht Teil des TSE Paradigmas, aber sind dennoch verantwortlich für Messfehler in vergleichender Surveyforschung. In unserer Schlussbetrachtung formulieren wir acht Regeln, die bei der Harmonisierung soziodemographischer Messungen in vergleichenden Umfragen zu beachten sind, damit die Messfehler begrenzt oder gar ausgeschlossen werden.

Schlüsselwörter

Soziodemographie Harmonisierung Messfehler Ländervergleich Kulturvergleich Total Survey Error Sozialumfrage 

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literatur

  1. Behr, D. (2009). Translationswissenschaft und international vergleichende Umfrageforschung: Qualitätssicherung bei Fragebogenübersetzungen als Gegenstand einer Prozessanalyse. GESIS Schriftenreihe Band 2. Bonn: GESIS - Leibniz-Institut für Sozialwissenschaften.Google Scholar
  2. Behr, D., Braun, M., & Dorer, B. (2015). Messinstrumente in internationalen Studien. GESIS Survey Guidelines. Mannheim, GESIS - Leibniz-Institut für Sozialwissenschaften.  https://doi.org/10.15465/gesis-sg_006.
  3. Biemer, P. P., & Lyberg, L. E. (2003). Introduction to survey quality. Hoboken/NJ: John Wiley & Sons.Google Scholar
  4. Biemer, P. P. (2010). Total Survey Error. Design, Evaluation and Implementation. Public Opinion Quarterly, Vol. 74, No. 5, 2010, 817–848.CrossRefGoogle Scholar
  5. Blau, P. M., & Duncan, O. D. (1967). The American occupational structure. New York: John Wiley & Sons.Google Scholar
  6. Braun, M. (2006). Funktionale Äquivalenz in interkulturell vergleichenden Umfragen: Mythos und Realität. Mannheim, ZUMA, 2006Google Scholar
  7. Deming, Edwards W. (1944). On errors in surveys. American Sociological Review, Vol. 9, Issue 4, 359-369CrossRefGoogle Scholar
  8. Engel, U., & Schmidt, B. O. (2014). Unit- und Item-Nonresponse. In J. Blasius. & N. Baur (Hrsg.), Handbuch der empirischen Sozialforschung (S. 331-348). Wiesbaden: Springer VS.Google Scholar
  9. European Social Survey (2002a). The European Social Survey, SOURCE QUESTIONNAIRE Round 1, 2002/3. www.europeansocialsurvey.org/docs/round1/fieldwork/source/ESS1_source_main_questionnaire.pdf. Zugegriffen: 4. September 2018.
  10. European Social Survey (2002b). The European Social Survey SOURCE QUESTIONNAIRE Round 1, 2002, TNS ABACUS – European Social Survey VERSIONE ITALIANA: 19-12-02. www.europeansocialsurvey.org/docs/round1/fieldwork/italy/ESS1_questionnaires_IT.pdf. Zugegriffen: 4. September 2018.
  11. European Social Survey (2008a). The European Social Survey, Source Questionnaire Amendment 03 (Round 4, 2008/9). ESS Document Date 08-08-08. http://www.europeansocialsurvey.org/docs/round4/fieldwork/source/ESS4_source_main_questionnaire.pdf. Zugegriffen: 4. September 2018.
  12. European Social Survey (2008b). The European Social Survey, Round 4 Showcards 2008. ESS Document Date: 08.08.08. http://www.europeansocialsurvey.org/docs/round4/fieldwork/source/ESS4_source_showcards.pdf. Zugegriffen: 4. September 2018.
  13. European Social Survey (2010). The European Social Survey, Source Questionnaire Amendment 03 (Round 4, 2008/9). ESS Document Date 08-08-08. http://www.europeansocialsurvey.org/docs/round4/fieldwork/source/ESS4_source_main_questionnaire.pdf. Zugegriffen: 4. September 2018.
  14. European Social Survey (2016). ESS Round 8 Source Questionnaire. London: ESS ERIC Headquarters c/o City University London.Google Scholar
  15. Faulbaum, F. (2014). Total Survey Error. In J. Blasius & N. Baur (Hrsg.), Handbuch der empirischen Sozialforschung (S. 439-453). Wiesbaden: Springer VS.Google Scholar
  16. Fitzgerald, R. (2015). Striving for quality, comparability and transparency in cross-national social survey measurement: illustrations from the European Social Survey (ESS). Unpublished Doctoral thesis, City University London.Google Scholar
  17. Gross, M. (2008). Klasse, Schicht, Mobilität. Eine Einführung. Wiesbaden: VS Verlag für Sozialwissenschaften.Google Scholar
  18. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2004). Survey methodology. Hoboken/NJ: John Wiley & Sons.Google Scholar
  19. Groves, R. M., & Lyberg, L. E. (2010). Total survey error. Past, present, and future. Public Opinion Quarterly, Vol. 74, No. 5, 2010, 849–879.CrossRefGoogle Scholar
  20. Harkness, J. A. (2008a). Comparative survey research: Goal and challenges. In E. D. de Leeuw, J. J. Hox, & D. A. Dillman (Hrsg.), International handbook of survey methodology. (S. 56-77). New York: Lawrence Erlbaum Associates.Google Scholar
  21. Harkness, J. A. (2008b). Round 4 ESS Translation strategies and procedures. [Online]: http://www.europeansocialsurvey.org/docs/round4/methods/ESS4_translation_guidelines.pdf. Zugegriffen: 4. September 2018.
  22. Hoffmeyer-Zlotnik, J. H.P., & Warner, U. (2008a). Der Vergleich von Bildung in internationalen Umfragen. In Die Natur der Gesellschaft. Verhandlungen des 33. Kongresses der DGS in Kassel 2006. CD-ROM, hrsg. in deren Auftrag von K.-S. Rehberg (S. 4018-4027). Frankfurt/M.: Campus.Google Scholar
  23. Hoffmeyer-Zlotnik, J. H. P., & Warner, U. (2008b). Privater Haushalt. Konzepte und ihre Operationalisierung in nationalen und internationalen sozialwissenschaftlichen Umfragen. Mannheim: Forschung Raum und Gesellschaft e.V.Google Scholar
  24. Hoffmeyer-Zlotnik, J. H. P., & Warner, U. (2012). Harmonisierung demographischer und sozio-ökonomischer Variablen. Instrumente für die international vergleichende Sozialforschung. Wiesbaden: VS Verlag.CrossRefGoogle Scholar
  25. Hoffmeyer-Zlotnik, J. H. P., & Warner, U. (2013). Soziodemographische Standards für Umfragen in Europa. München und Mering: Rainer Hampp Verlag.Google Scholar
  26. Hoffmeyer-Zlotnik, J. H. P., & Warner, U. (2018a). Harmonization for cross-national comparative social survey research: A Ccase study using the “private household” variable. In D. L. Vannette, & J. A. Krosnick, (Hrsg.), The palgrave handbook of survey research (S. 79-86). Cham: Palgrave Macmillan.Google Scholar
  27. Hoffmeyer-Zlotnik, J. H.P. & Warner, U. (2018b). Sociodemographic questionnaire modules for comparative social surveys. Cham: Springer International Publishing AG.CrossRefGoogle Scholar
  28. International Labour Organization (2009). ISCO-08. Part III. Definitions of Major Groups, Sub-Major Groups, Minor Groups and Unit Groups. http://www.ilo.org/public/english/bureau/stat/isco/docs/groupdefn08.pdf. Zugegriffen: 4. September 2018.
  29. Kaase, M. (Hrsg) (1999). Qualitätskriterien in der Umfrageforschung. Berlin: Akademie Verlag.Google Scholar
  30. OECD (2018). Zuordnung nationaler Bildungsprogramme zur ISCED 2011 https://www.oecd.org/berlin/publikationen/Zuordnung%20nationaler%20Bildungsprogramme%20zur%20ISCED%202011.pdf. Zugegriffen: 4. September 2018.
  31. Schwarz, N. (2008). The psychology of survey response. In W. Dornsbach, & M. W. Traugott (Hrsg.), The Sage handbook of public opinion research (S. 375–387). London: Sage.Google Scholar
  32. Smith, T. W. (2011). Refining the total survey error perspective. International Journal of Public Opinion Research 23 (4), 464–484.  https://doi.org/10.1093/ijpor/edq052.CrossRefGoogle Scholar
  33. Statistics Sweden (2004). Design your questions right. How to develop, test, evaluate and improve questionnaires. Research and Development. Statistics Sweden, Statistiska centralbyrån. http://www.scb.se/statistik/_publikationer/OV9999_2004A01_BR_X97OP0402.pdf. Zugegriffen: 4. September 2018.
  34. UNESCO (1997). International Standard Classification of Education ISCED 1997. http://www.unesco.org/education/information/nfsunesco/doc/isced_1997.htm. Zugegriffen: 4. September 2018.
  35. UNESCO Institute for Statistics (2012). International Standard Classification of Education ISCED 2011. Montreal: UNESCO UIS. http://uis.unesco.org/sites/default/files/documents/international-standard-classification-of-education-isced-2011-en.pdf. Zugegriffen: 4. September 2018.
  36. UNESCO Institute for Statistics (2018a). ISCED Mappings. http://uis.unesco.org/en/isced-mappings. Zugegriffen: 4. September 2018.
  37. UNESCO Institute for Statistics (2018b). ISCED 2011 Mappings for Germany. uis.unesco.org/en/isced-mappings, Tabelle: isced_2011_mapping_en_germany.0.xlsx. Zugegriffen: 4. September 2018.Google Scholar
  38. Weisberg, H. F. (2005). The total survey error approach: A guide to the new science of survey research. Chicago/IL: University of Chicago Press.Google Scholar
  39. Weisberg, H. F. (2008). The methodological strengths and weaknesses of survey research. In W. Donsbach, & M. W. Traugott (Hrsg.), Handbook of Public Opinion Research (S. 223-231). London: Sage.Google Scholar

Copyright information

© Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019

Authors and Affiliations

  1. 1.GießenDeutschland
  2. 2.GöttingenDeutschland

Personalised recommendations