Auswirkungen der Administration von Kompetenztests im Rahmen einer Panelerhebung für Erwachsene

  • Corinna Kleinert
  • Bernhard Christoph
  • Michael Ruland
Chapter
Part of the Schriftenreihe der ASI - Arbeitsgemeinschaft Sozialwissenschaftlicher Institute book series (SASI)

Zusammenfassung

Kompetenztests werden üblicherweise einmalig im Rahmen von Klassenraumbefragungen bei Schülern durchgeführt. In der Erwachsenenbefragung des Nationalen Bildungspanels (NEPS) hingegen wurden Kompetenztests im Rahmen einer jährlich wiederholten, persönlichen Befragung einer großen Stichprobe der Erwachsenenbevölkerung eingesetzt. Die Erhebung von Kompetenzen in einem solchen Kontext kann sich insofern als problematisch erweisen, als negative Auswirkungen der Testdurchführung auf Nonresponse und Panelmortalität zu befürchten sind.

Um zu überprüfen ob derartige Probleme tatsächlich auftreten, wurde im Rahmen der dritten Welle der Erwachsenenbefragung des NEPS ein experimentelles Split-Half Design implementiert. Im Rahmen dieses Experiments wurden der Hälfte der Befragten zwei 30-minütige Kompetenztests (jeweils in den Domänen Lesen und Mathematik) vorgelegt. Zusätzlich mussten diese Befragten ein 30-minütiges Basisinterview beantworten. Die andere Hälfte der Befragten erhielt ebenfalls das 30-minütige Basisinterview, aber nur einen der beiden Kompetenztests. Durch dieses Design konnte sowohl der Effekt der Ankündigung der entsprechenden Befragung auf die Testteilnahme in der laufenden Welle als auch die Effekte auf die Teilnahme an der Folgewelle untersucht werden.

Die Ergebnisse zeigen, dass Befragte in der Gruppe mit der längeren Testvariante stärker dazu tendierten, die Testteilnahme zu vermeiden, indem sie auf ein im Rahmen des Methodenmix alternativ mögliches Telefoninterview (ohne Tests) auswichen oder im persönlichen Interview die Testteilnahme verweigerten bzw. den Test abbrachen. Im Gegensatz dazu konnten wir keinen direkten Effekt der Testdauer auf die Teilnahme an der Folgewelle feststellen. Was sich allerdings zeigt, ist ein negativer Zusammenhang zwischen den Testergebnissen einer befragten Person und einer Teilnahmeverweigerung in der Folgewelle – und dieser Effekt ist für die Befragten in der Zwei-Test-Variante besonders stark. Diese Quelle des Nonresponse-Bias ließe sich u.E. durch zwei Maßnahmen minimieren: eine Verkürzung der Testdauer und die Verwendung adaptiver Tests.

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literatur

  1. Allmendinger, J., Kleinert, C., Antoni, M., Christoph, B., Drasch, K., Janik, F., Leuze, K., Matthes, B., Pollak, R., & Ruland, M. (2011). Adult education and lifelong learning. In H.-P. Blossfeld, H.-G. Roßbach, & J. von Maurice (Hrsg.), Education as a lifelong process. The German National Educational Panel Study (S. 283–299). Zeitschrift für Erziehungswissenschaft, Sonderheft 14. Wiesbaden: VS Verlag.Google Scholar
  2. Bogen, K. (1996). The effect of questionnaire length on response rates – a review of the literature, Proceedings of the Survey Research Methods Section, American Statistical Association 1996, 1020–1025.Google Scholar
  3. Bradburn, N. (1978). Respondent burden. Proceedings of the Survey Research Methods Section, American Statistical Association 1978, 35–40.Google Scholar
  4. Branden, L., Gritz, M. M., & Pergamit, M. R. (1995). The effect of interview length on attrition in the National Longitudinal Survey of Youth. Report NLS 95–28. U.S. Department of Labor: Bureau of Labor Statistics. http://www.bls.gov/osmr/pdf/nl950030.pdf. Zugegriffen: 20. März 2015.
  5. Couper (1979). Survey introductions and data quality. Public Opinion Quarterly 61, 317–338.CrossRefGoogle Scholar
  6. Dillman, D. A.; Smyth, J. D., & Christian, L. M. (2009). Internet, mail and mixed-mode surveys: the tailored design method, 3rd ed. Hoboken, NJ: Wiley.Google Scholar
  7. Groves, R. M., & Couper, M. (1998). Nonresponse in household interview surveys. New York: Wiley.CrossRefGoogle Scholar
  8. Groves, R. M.; Singer, E.; Corning, A. M., & Bowers, A. (1999). A laboratory approach to measuring the effects on survey participation of interview length, incentives, differential incentives, and refusal conversion. Journal of Official Statistics 15, 251–268.Google Scholar
  9. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey methodology. Hoboken, NJ: Wiley.Google Scholar
  10. Hansen, K. M. (2007). The effect of incentives, interview length, and interviewer characteristics on response rates in a CATI study. International Journal of Public Opinion Research 19, 112–121.CrossRefGoogle Scholar
  11. Hill, D. H., & Willis, R. J. (2001). Reducing panel attrition. A search for effective policy instruments. Journal of Human Resources, 26, 416–438.CrossRefGoogle Scholar
  12. Kalton, G., Lepkowski, J., Montanari, G. E., & Maligalig, D. (1990). Characteristics of second wave nonrespondents in a panel survey. Proceedings of the Survey Research Methods Section, American Statistical Association 1990, 462–467.Google Scholar
  13. Kleinert, C., Matthes, B., Antoni, M., Drasch, K., Ruland, M., & Trahms, A. (2011). ALWA – new life course data for Germany. Schmollers Jahrbuch 131, 625–634.CrossRefGoogle Scholar
  14. Kleinert, C., Yamamoto, K., Wölfel, O., & Gilberg, R. (2012). Working and learning in a changing world. Part VI: literacy and numeracy skills— test design, implementation, scaling and statistical models for proficiency estimation. FDZ Methodenreport 10/2012, Nürnberg: IAB. http://doku.iab.de/fdz/reporte/2012/MR_10–12_EN.pdf. Zugegriffen: 20. März 2015.
  15. Laurie, H.; Smith R., & Scott, L. (1999). Strategies for reducing nonresponse in a longitudinal panel survey. Journal of Official Statistics 15, 269–282.Google Scholar
  16. Lavrakas, P. J. (2008). Encyclopedia of survey research methods. Thousand Oaks, CA: Sage.CrossRefGoogle Scholar
  17. Lepkowski, J. M., & Couper, M. P. (2002). Nonresponse in the second wave of longitudinal household surveys. In R. M. Groves, D. A. Dillman, J. L. Eltinge, & B. J. A. Little (Hrsg.), Survey Nonresponse (S. 259–272). New York: Wiley.Google Scholar
  18. Loosveldt, G., & Carton, A. (2001). An empirical test of a limited model for panel refusals. International Journal of Public Opinion Research 13, 173–185.CrossRefGoogle Scholar
  19. Lynn, P. (2014). Longer Interviews may not affect subsequent survey participation propensity. Public Opinion Quarterly 78 (2), 500–509.CrossRefGoogle Scholar
  20. Marcus, B., Bosnjak, M., Lindner, S., Pilischenko, S., & Schütz, A. (2007). Compensating for low topic interest and long surveys. A field experiment on nonresponse in web surveys. Social Science Computer Review 25, 372–383.CrossRefGoogle Scholar
  21. NEPS (Hrsg.). (2011). Starting cohort 6 main study 2010/11 (B67). Adults. Information on the competence test. Bamberg: University of Bamberg, National Educational Panel Study (NEPS). https://www.neps-data.de/Portals/0/NEPS/Datenzentrum/Forschungsdaten/SC6/3–0-0/C_B67_EN.pdf. Zugegriffen: 20. März 2015.
  22. Nicoletti, C., & Peracchi, F. (2002). A cross-country comparison of survey participation in the ECHP. ISER Working Papers No. 2002–32. Essex: ISER. https://www.iser.essex.ac.uk/research/publications/workingpapers/iser/2002–32.pdf. Zugegriffen: 20. März 2015.
  23. Olsen, R. J. (2005). The problem of respondent attrition: survey methodology is the key. Monthly Labour Review 128, 63–70.Google Scholar
  24. Organisation for Economic Co-operation and Development [OECD] (Hrsg.). (2000). Literacy in the Information Age. Final Report of the International Adult Literacy Survey. Paris.Google Scholar
  25. Organisation for Economic Co-operation and Development [OECD] (2009). PIAAC BQ JRA V5.0– Conceptual Framework, Paris.Google Scholar
  26. Organisation for Economic Co-operation and Development [OECD] (2013). OECD Skills Outlook 2013: First Results from the Survey of Adult Skills, Paris.Google Scholar
  27. Porter, S. R. (2004). Raising response rates: what works? New Directions for Institutional Research 121, 5–21.CrossRefGoogle Scholar
  28. Schnell, R. (2012). Survey-Interviews. Methoden standardisierter Befragungen. Wiesbaden: VS-Verlag.Google Scholar
  29. Sharp, L. M., & Frankel, J. (1983). Respondent burden: a test of some common assumptions. Public Opinion Quarterly 37, 36–53.CrossRefGoogle Scholar
  30. Statistics Canada [StatCan], Organisation for Economic Co-operation and Development [OECD] (Hrsg.). (2005). Learning a Living. First Results of the Adult Literacy and Life Skills Survey, Ottawa und Paris.Google Scholar
  31. Watson, N., & Wooden, M. (2009). Identifying factors affecting longitudinal survey response. In P. Lynn (Hrsg.), Methodology of Longitudinal Surveys (S. 157–182). Hoboken, NJ: Wiley.CrossRefGoogle Scholar
  32. Zabel, J. E. (1998). An analysis of attrition in the PSID and SIPP with an application to a model of labor market behavior. Journal of Human Resources 33, 479–506.CrossRefGoogle Scholar

Copyright information

© Springer Fachmedien Wiesbaden 2015

Authors and Affiliations

  • Corinna Kleinert
    • 1
  • Bernhard Christoph
    • 2
  • Michael Ruland
    • 3
  1. 1.Leibniz-Institut für Bildungsverläufe (LIfBi)Universität BambergBambergDeutschland
  2. 2.Institut für Arbeitsmarkt- und Berufsforschung (IAB)NürnbergDeutschland
  3. 3.Wissenschaftszentrum Berlin für Sozialforschung (WZB)BerlinDeutschland

Personalised recommendations