Zusammenfassung
Der Beitrag behandelt die Messung politischen Wissens. Zunächst werden die im ALLBUS 2018 verwendeten Wissensfragen vorgestellt und deskriptive Informationen zu den Antworten präsentiert. Dabei werden auch die Bearbeitungszeiten, Schwierigkeitsgrade und die Qualität der Distraktoren diskutiert. Anschließend werden auf Grundlage einer Mokken-Analyse eine Skalenanalyse und eine Skalenkonstruktion der verwendeten Items durchgeführt. Zwar erfassen die im ALLBUS 2018 verwendeten Wissensitems unterschiedliche Wissensbereiche, aber die empirischen Ergebnisse deuten darauf hin, dass es sich bei dem erfassten politischen Wissen um ein eindimensionales, latentes Konstrukt handelt. Die entwickelten Skalen bilden die Grundlage für die empirischen Analysen in den folgenden Kapiteln, in denen das politische Wissen als abhängige oder als unabhängige Variable betrachtet wird.
Dieses Kapitel ist Produkt gemeinsamer Überlegungen und Analysen. Die Autorenreihenfolge ist alphabetisch.
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Notes
- 1.
Das Hohenheimer Inventar zum Politikwissen (HIP) stellt unseres Wissens aktuell den umfangreichsten Versuch zur Erstellung einer wissenschaftlichen Skala zur Erfassung politischen Wissens in Deutschland dar (Trepte et al. 2017). Es umfasst 85 Items in zwei Dimensionen: Grundlagen- und aktuelles Wissen. Allerdings wurde die Validierungsstudie mit einer online rekrutierten Quoten-Stichprobe durchgeführt, sodass die Ergebnisse nicht repräsentativ für die deutsche Bevölkerung sind. Für weitere Informationen s. http://www.hip-online.org (letzter Abruf am 19.05.2020).
- 2.
Ferner wird dieser Fragetypus gelegentlich genutzt, um der Rateneigung von Befragten durch sog. Fake-Items auf die Spur zu kommen, d. h. es werden nicht-existierende Politiker zur Einordnung angeboten. Der Schluss von einer einzigen substanziellen Einordnung (statt einer „weiß nicht“-Antwort) auf Raten ist allerdings nicht zwingend, denn dieses Verhalten kann auch auf Fehlerinnerung beruhen. Erst dann, wenn auf eine größere Anzahl von Fake-Items in dieser Weise reagiert wird, liegt ein valider Schluss auf Raten nahe. Im ALLBUS 2018 wurde auf dieses Vorgehen verzichtet.
- 3.
Die Abbildung der Fragen bzw. Items und Antwortmöglichkeiten in den Tabellen entspricht nicht der Reihenfolge der Fragen bei der Erhebung.
- 4.
Die Bearbeitungsdauer kann auch vom Verhalten der Interviewer abhängig sein. Im vorliegenden Fall waren 155 Interviewer tätig, die unterschiedlich viele Interviews durchgeführt haben (29 Interviewer haben 1 bis 10 Interviews erhoben, 111 haben zwischen 11 und 40 Interviews durchgeführt und 15 kamen auf 41 bis 78 Interviews). Dabei lässt sich eine leichte Tendenz zu anteilig vielen kurzen und gleichzeitig fehlenden langen Bearbeitungsdauern der Wissensfragen unter Interviewern mit 15 bis ca. 30 Interviews beobachten. Extrem auffällig im Sinn des Speeding-Verdachts oder gar der Auslassung der Fragen ist allerdings nur ein Interviewer, der bei 50 Interviews 18 mit einer Bearbeitungsdauer der Wissensitems unter einer Minute und gleichzeitig keinem Interview über elf Minuten verzeichnet. Umgekehrt ist bei 54 Interviewern mindestens ein Fall mit einer Bearbeitungsdauer über 11 min zu sehen, was von einer zufrieden stellenden Geduld des Interviewpersonals zeugt.
- 5.
Der Anteil der falsch Antwortenden (PF) sowie der Anteil der Befragten mit „weiß nicht“-Antwort (PWN) wurde durch Umstellen der Formel (1) entsprechend berechnet.
- 6.
Für Fragen mit drei und mehr Distraktoren und NF ≥ 25. Die Herleitung der Formeln auf Grundlage des Chi²-Tests kann bei Michelsen und Schöllermann (2015) nachgelesen werden.
- 7.
Für die Untersuchung der empirischen Dimensionalität theoretischer Konstrukte wird in der Forschungspraxis häufig auf korrelationsbasierte, faktoranalytische Verfahren zurückgegriffen. Diese basieren jedoch auf der Annahme relativ ähnlich verteilter oder paralleler Items (van Schuur 2003, S. 139–141), welche für die Messung (politischen) Wissens auf Grund der intendierten Schwierigkeitsunterschiede zwischen den Items gerade nicht zutreffend ist.
- 8.
Im Vergleich zu parametrischen Skalierungsverfahren (z. B. Rasch- oder Birnbaum-Modell) ist die Mokken-Analyse in ihrer Anwendung flexibler, da sie weniger restriktive Annahmen hinsichtlich der Form von Itemcharakteristikkurven macht und die Schätzung einer geringeren Anzahl von Modellparametern erfordert.
- 9.
Sofern die empirischen Antwortmuster der 21 analysierten Items auf mehr als einem latenten Konstrukt basierten (siehe die Diskussion zur theoretischen Dimensionierung in Abschn. 2.1), so zeigte sich dies im Rahmen der Mokken-Analyse mittels der Zusammenfassung einer Teilmenge der Items zu zwei oder mehreren eindimensionalen Skalen.
- 10.
Das Kriterium der lokalen stochastischen Unabhängigkeit bezieht sich ausschließlich auf Befragte mit derselben Position auf dem latenten Kontinuum, d. h. unter Kontrolle der Position auf dem latenten Kontinuum besteht kein Zusammenhang zwischen den Items. Die lokale stochastische Unabhängigkeit impliziert hingegen nicht, dass die analysierten Items bei Betrachtung aller Befragten (welche hinsichtlich ihrer Positionen auf dem latenten Kontinuum variieren) nicht miteinander korrelieren. Wenn die manifesten Items dieselbe Eigenschaft wie das zu Grunde liegende latente Konstrukt abbilden, steigt mit zunehmender Ausprägung auf dem latenten Kontinuum ebenfalls die Wahrscheinlichkeit der korrekten Beantwortung mehrerer Items, sodass bei Betrachtung aller Befragten über das vollständige Spektrum des latenten Kontinuums hinweg die Items positiv miteinander korrelieren sollten (Gerich 2001, S. 27–28; Sijtsma und van der Ark 2017, S. 140).
- 11.
Eine Überprüfung der Annahme der lokalen stochastischen Unabhängigkeit der Items in den verschiedenen Skalen zeigt marginale Verletzungen für die Items pk04, pk05, pk06 und pk08. Diese Verletzungen beziehen sich jedoch auf lediglich einen von drei Testindizes zur Überprüfung der lokalen stochastischen Unabhängigkeit. In der Gesamtbetrachtung aller relevanten Modellannahmen (Monotonie, Homogenität) erscheinen diese Verletzungen somit vertretbar (Straat et al. 2016, S. 123).
- 12.
Als Ergänzung zu den hier dargestellten Analysen wurde ebenfalls untersucht, ob die zwölf Multiple Choice Items für sich genommen eine eindimensionale, kumulative Skala politischen Wissens bilden. Die empirischen Ergebnisse dieser Skalenanalyse zeigen, dass dies nicht der Fall ist. Erst nach Ausschluss von zwei weiteren Items (pk10 und pk18) lässt sich eine Skala bilden, die jedoch lediglich die Annahme der einfachen Monotonie erfüllt und mit einem Skalenwert von H = 0,36 zudem eine vergleichsweise geringere Homogenität als die in Tab. 6 dargestellten Skalen politischen Wissens aufweist. Die Korrelation dieser Zehn-Item Skala der Multiple Choice Items mit der Skala „Politisches Wissen II“ beträgt 0,68.
- 13.
In der Forschungsliteratur zur Messung politischen Wissens wird kontrovers diskutiert, ob „weiß nicht“ und „falsche“ Antworten gleichbehandelt werden sollten, da eine einfache Differenzierung zwischen korrekten und nicht-korrekten Antworten das politische Wissen „schüchterner“ Personen, die häufiger mit „weiß nicht“ antworteten, womöglich unterschätzt (s. zusammenfassend Vollmar 2012, S. 101–108; Mondak 1999, 2001; Mondak und Davis 2001; Sturgis et al. 2008; Luskin und Bullock 2011). Um diesen Argumenten nachzugehen, wurde die zuvor beschriebene Mokken-Analyse auf Grundlage einer alternativen Kodierung der 21 Items, bei der falsche Antworten den Wert 0, „weiß nicht“-Angaben den Wert 1 und korrekte Antworten den Wert 2 erhalten, wiederholt. Die empirischen Befunde auf Grundlage dieser alternativen Kodierung sind eindeutig: die Items bilden keine eindimensionale, kumulative Skala politischen Wissens, die die Bedingungen der einfachen, geschweige denn der doppelten Monotonie erfüllt. Die Annahme, dass „weiß nicht“-Angaben generell (d. h. für alle Befragten) ein höheres Ausmaß politischen Wissens abbilden als falsche Antworten ist auf Grundlage der Ergebnisse empirisch nicht haltbar (s. auch Jessee 2017). Insbesondere die fehlende doppelte Monotonie (d. h. die konsistente Überschneidung der Itemcharakteristikkurven verschiedener Items) dient als Indiz dafür, dass die „weiß nicht“ Angaben keine homogene Mittelkategorie politischen Wissens abbilden. Die Gründe für „weiß nicht“ Angaben scheinen offensichtlich heterogener Natur zu sein (z. B. Unsicherheit, Risikoaversion).
- 14.
Die auf einer Mokken-Analyse basierenden Skalen weisen prinzipiell ordinales Messniveau auf, da die Abstände der einzelnen Items zueinander streng genommen nicht identisch sind (Gerich 2001, S. 42). In der Forschungspraxis werden Mokken-Skalen jedoch in der Regel als pseudometrisch interpretiert. Dies lässt sich auch im Falle der beiden vorliegenden Skalen „Politisches Wissen I“ und „Politisches Wissen II“ rechtfertigen, da die Items eine relativ homogene und gleichmäßige Abdeckung über das Schwierigkeitsspektrum abdecken und somit einem metrischen Skalenniveau relativ nahekommen.
- 15.
Da es sich bei der Mokken-Analyse um ein probabilistisches Skalierungsverfahren handelt, können empirisch jedoch durchaus Abweichungen von diesem deterministischen Antwortmuster auftreten. Im vorliegenden Fall sind derartige Abweichungen jedoch begrenzt: So haben beispielsweise lediglich 6 der 261 Befragten (~2 %) mit einem Skalenwert von 2 auch das schwierigste Item der Skala (pk06) korrekt beantwortet und somit ein vergleichsweise leichteres Item falsch oder mit „weiß nicht“ beantwortet.
Literatur
Converse, Philip E. 1990. Popular representation and the distribution of political information. In Information and democratic process, Hrsg. John A. Ferejohn und James H. Kuklinski, 369–388. Urbana: University of Illinois Press.
Carpini, Delli, X. Michael, und Scott Keeter. 1996. What Americans know about politics and why it matters. New Haven: Yale University Press.
Döring, Nicola, und Jürgen Bortz. 2016. Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Heidelberg: Springer.
Gerich, Joachim. 2001. Nichtparametrische Skalierung nach Mokken. Beiträge zur qualitativen Analyse quantitativer Daten. Linz: Trauner.
Gerich, Joachim. 2010. Guttman- und Mokkenskalierung. In Handbuch der sozialwissenschaftlichen Datenanalyse, Hrsg. Christof Wolf und Henning Best, 283–310. Wiesbaden: VS Verlag.
Gillespie, Michael, Elisabeth M. Tenverget, und Johannes Kingma. 1987. Using Mokken scale analysis to develop unidimensional scales. Do the six abortion items in the NORC GSS form one or two scales? Quality & Quantity 21 (4): 393–408.
Jessee, Stephen A. 2017. “Don’t know” responses, personality, and the measurement of political knowledge. Political Science Research and Methods 5 (4): 711–731.
Lienert, Gustav, und Ulrich Raatz. 1998. Testaufbau und Testanalyse. Weinheim: Psychologie Verlags Union.
Ligtvoet, Rudy, L. Andries van der Ark, Wicher P. Bergsma, und Klaas Sijtsma. 2011. Polytomous latent scales for the investigation of the ordering of items. Psychometrika 76 (2): 200–216.
Ligtvoet, Rudy, L. Andries van der Ark, Janneke M. te Marvelde, und Klaas Sijtsma. 2010. Investigating an invariant item ordering for polytomously scored items. Educational and Psychological Measurement 70 (4): 578–595.
Luskin, Robert C., und John G. Bullock. 2011. Don’t know means don’t know: DK responses and the public’s level of political knowledge. The Journal of Politics 73 (2): 547–557.
Michelsen, Uwe Andreas, und Ulrich Schöllermann. 2015. Distraktorenanalyse. Ein Beitrag zur Konstruktion von Alternativantworten. Aachen: Shaker.
Mokken, Robert J. 1971. A theory and procedure of scale analysis. New York: De Gruyter.
Mondak, Jeffery J. 1999. Reconsidering the measurement of political knowledge. Political Analysis 8 (1): 57–82.
Mondak, Jeffery J., und Belinda Creel Davis. 2001. Asked and answered: Knowledge levels when we will not take “don’t know” for an answer. Political Behavior 23 (3): 199–224.
Mondak, Jeffrey J. 2001. Developing valid knowledge scales. American Journal of Political Science 45 (1): 224–238.
Moosbrugger, Helfried, und Augustin Kelava. 2012. Testtheorie und Fragebogenkonstruktion. Berlin: Springer.
Schnaudt, Christian, Stefanie Walter, und Sebastian A. Popa. 2016. Subnational and national territorial identification. In European identity in the context of national identity: Questions of identity in sixteen European countries in the wake of the financial crisis, Hrsg. Bettina Westle und Paolo Segatti, 63–92. Oxford: Oxford University Press.
Schnaudt, Christian, und Michael Weinhardt. 2018. Blaming the young misses the point: Re-assessing young people’s political participation over time using the ‘identity-equivalence procedure’. Methods, Data, Analyses 12 (2): 309–334.
Schübel, Thomas. 2018. Die soziale Verteilung politischen Wissens in Deutschland. Wissensunterschiede und deren Ursachen. Wiesbaden: Springer VS.
Sijtsma, Klaas, Rob R. Meijer, und L. Andries van der Ark. 2011. Mokken scale analysis as time goes by: An update for scaling practitioners. Personality and Individual Differences 50 (1): 31–37.
Sijtsma, Klaas, und Ivo W. Molenaar. 2002. Introduction to nonparametric item response theory. Thousand Oaks: Sage.
Sijtsma, Klaas, und L. Andries van der Ark. 2017. A tutorial on how to do a Mokken scale analysis on your test and questionnaire data. British Journal of Mathematical and Statistical Psychology 70 (1): 137–158.
Straat, J., L. Hendrik, Andries van der Ark, und Klaas Sijtsma. 2016. Using conditional association to identify locally independent item sets. Methodology 12 (4): 117–123.
Sturgis, Patrick, Nick Allum, und Patten Smith. 2008. An experiment on the measurement of political knowledge in surveys. Public Opinion Quarterly 72 (1): 90–102.
Trepte, Sabine, Laura Loy, Josephine B. Schmitt, und Siegmar Otto. 2017. Hohenheimer Inventar zum Politikwissen (HIP). Diagnostica 63 (3): 206–218.
van Abswoude, Alexandra A.H., Jeroen K. Vermunt, Bas T. Hemker, und L. Andries van der Ark. 2004. Mokken scale analysis using hierarchical clustering procedures. Applied Psychological Measurement 28 (5): 332–354.
van der Ark, L. Andries. 2007. Mokken scale analysis in R. Journal of Statistical Software 20 (11): 1–19.
van der Ark, L. Andries. 2012. New developments in Mokken scale analysis in R. Journal of Statistical Software 48 (5): 1–24.
van der Ark, L. Andries, Daniel W. van der Palm, und Klaas Sijtsma. 2011. A latent class approach to estimating test-score reliability. Applied Psychological Measurement 35 (5): 380–392.
van Schuur, Wijbrandt H. 2003. Mokken scale analysis: Between the Guttman scale and parametric item response theory. Political Analysis 11 (2): 139–163.
Vollmar, Meike. 2012. König, Bürgermeister, Bundeskanzler? Politisches Wissen von Grundschülern und die Relevanz familiärer und schulischer Ressourcen. Wiesbaden: Springer VS.
Westle, Bettina, und Markus Tausendpfund, Hrsg. 2019a. Politisches Wissen. Relevanz, Messung und Befunde. Wiesbaden: Springer VS.
Westle, Bettina, und Markus Tausendpfund. 2019b. Politisches Wissen. Relevanz, Messung, Befunde. In Politisches Wissen. Relevanz, Messung und Befunde, Hrsg. Bettina Westle und Markus Tausendpfund, 1–39. Wiesbaden: Springer VS.
Author information
Authors and Affiliations
Corresponding author
Editor information
Editors and Affiliations
Rights and permissions
Copyright information
© 2020 Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert durch Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature
About this chapter
Cite this chapter
Moosdorf, D., Schnaudt, C., Tausendpfund, M., Westle, B. (2020). Messung politischen Wissens. In: Tausendpfund, M., Westle, B. (eds) Politisches Wissen in Deutschland. Politisches Wissen. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-30492-8_3
Download citation
DOI: https://doi.org/10.1007/978-3-658-30492-8_3
Published:
Publisher Name: Springer VS, Wiesbaden
Print ISBN: 978-3-658-30491-1
Online ISBN: 978-3-658-30492-8
eBook Packages: Social Science and Law (German Language)