Advertisement

Schülerfeedback – fachübergreifend vergleichbar?

Zur Bedeutung von Unterrichtsfach und Fachinteresse für Schüleraussagen zur Unterrichtsqualität
  • Sylvia RahnEmail author
  • Sabine Gruehn
  • Christoph Fuhrmann
  • Miriam Sharon Keune
Allgemeiner Teil
  • 16 Downloads

Zusammenfassung

Schülerratings zur Unterrichtsqualität werden sowohl in der Unterrichtsforschung als auch in der Schul- und Unterrichtsentwicklung verwendet. Einschlägige Feedbackverfahren orientieren sich dabei oft an Vergleichsmaßstäben, die das „aggregierte Bewertungsprofil“ der jeweiligen Schule oder auch das einer schul(form)übergreifenden Stichprobe zugrunde legen. Damit wird unterstellt, dass Schülerfeedbacks fach- und schulformübergreifend vergleichbar sind. Die bisherige Forschung lässt allerdings vermuten, dass solche Schülerratings mit dem Unterrichtsfach variieren sowie mit dem Fachinteresse oder anderen Merkmalen sowohl der Urteilenden als auch der Beurteilten zusammenhängen können. Unklar ist dabei, ob etwaige Verzerrungsfaktoren im Fächervergleich gleichförmig mit dem Schülerfeedback zusammenhängen oder ob von fachspezifischen Verzerrungen des Schülerfeedbacks auszugehen ist. Es wurden knapp 1300 Elftklässler*innen an beruflichen Gymnasien mit pädagogischen, technischen und kaufmännischen Schwerpunkten zur Unterrichtsqualität befragt. Die multivariate, u. a. mehrebenenanalytische Auswertung der Schülerratings in den Fächern Mathematik, Deutsch, Erziehungswissenschaft, Elektrotechnik und BWL/Rechnungswesen zeigt signifikante fachspezifische Zusammenhänge zwischen dem Unterrichtsfach und dem Fachinteresse der Schüler*innen einerseits und diesen beiden Faktoren und dem Schülerfeedback andererseits. Schülerratings sind damit nicht ohne weiteres zwischen verschiedenen Unterrichtsfächern vergleichbar. Die Ergebnisse werden im Hinblick auf ihre Konsequenzen für den Einsatz von Schülerfeedbacks in Unterrichtsentwicklungsprozessen diskutiert.

Schlüsselwörter

Schülerfeedback Unterrichtsqualität Unterrichtsevaluation Schülerratings 

Is it adequate to compare Students’ Feedback beyond Subjects?

The Relevance of School Subjects and Students’ Interests for Students’ Feedback about Instructional Quality

Abstract

Student ratings are used not only in teaching research but also in internal and external evaluations for the purpose of school and teaching development. The feedback given to teachers in the course of such evaluations is often oriented on comparative measures which are based on the “aggregated evaluation profile” of one’s own school or on a sample that transcends a school (form). Thus, it is assumed that the ratings are comparable across-the-board and across the school. Previous research shows, however, that students’ judgment about the quality of instruction vary according to the subject, and are connected, inter alia, with the interest or other characteristics of both the assessor and the assessee. It is unclear whether these connections are uniform across or differ between school subjects and domains. A total of 1300 students in vocational upper secondary schools with a focus on pedagogical, technical and economic aspects were investigated. The multivariate, multilevel analyses of students’ perceived quality of teaching in Mathematics, German, Education, Electrical Engineering and Business Administration/Accounting show that the influence of subject and students’ subject interest on students’ feedback varies across subjects. Student ratings are therefore not comparable between different school domains. The results are discussed with regard to their implications for the use of feedback data in teaching development processes.

Keywords

Student ratings Student feedback Instructional quality Teaching evaluation 

Supplementary material

42010_2019_43_MOESM1_ESM.pdf (69 kb)
Zweifaktorielle Varianzanalyse für Haupt- und Interaktionseffekte der zehn Unterrichtsdimensionen in Abhängigkeit der Faktoren Unterrichtsfach und BK-Typ
42010_2019_43_MOESM2_ESM.pdf (44 kb)
Zweiebenenmodelle zum Zusammenhang von Fachinteresse und Schülerfeedback für weitere Dimensionen der Unterrichtsqualität (vgl. Tabelle 5)
42010_2019_43_MOESM3_ESM.pdf (48 kb)
Zweiebenenmodelle zum Zusammenhang von Interesse und Unterrichtsfächern mit dem Schülerfeedback weitere Dimensionen der Unterrichtsqualität (vgl. Tabelle 6)

Literatur

  1. Acock, A. C. (2013). Discovering structural equation modeling using Stata. Texas: Stata Press.Google Scholar
  2. Addison, W. E., & Stowell, J. R. (2012). Conducting research on student evaluations of teaching. In M. E. Kite (Hrsg.), Effective evaluation of teaching. A guide for faculty and administrators (S. 1–12). Kingsville: Society for the Teaching of Psychology. ISBN 978-1941804247.Google Scholar
  3. Aleamoni, L. M. (1999). Student rating myths versus research facts from 1924–1998. Journal of Personnel Evaluation in Education, 13(2), 153–166.CrossRefGoogle Scholar
  4. Baumert, J., & Kunter, M. (2006). Stichwort. Professionelle Kompetenz von Lehrkräften. Zeitschrift für Erziehungswissenschaft, 9(4), 469–520.CrossRefGoogle Scholar
  5. Baumert, J., Kunter, M., Brunner, M., Krauss, S., Blum, W., & Neubrand, M. (2004). Mathematikunterricht aus Sicht der PISA-Schülerinnen und -Schüler und ihrer Lehrkräfte. In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, H.-G. Rolff, J. Rost & U. Schiefele (Hrsg.), PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland – Ergebnisse des zweiten internationalen Vergleichs (S. 314–354). Münster: Waxmann.Google Scholar
  6. Bortz, J. (1993). Statistik für Sozialwissenschaftler (4. Aufl.). Berlin: Springer.Google Scholar
  7. Bühner, M. (2006). Einführung in die Test- und Fragebogenkonstruktion (2. Aufl.). München: Pearson.Google Scholar
  8. Clausen, M. (2002). Unterrichtsqualität. Eine Frage der Perspektive?: empirische Analysen zur Übereinstimmung, Konstrukt- und Kriteriumsvalidität. Münster: Waxmann. Berlin, Freie Univ., Diss., 2000Google Scholar
  9. Daniels, Z. (2008). Entwicklung schulischer Interessen im Jugendalter. Münster: Waxmann. Potsdam, Berlin, Univ., Diss., 2004Google Scholar
  10. Ditton, H. (2002). Lehrkräfte und Unterricht aus Schülersicht. Ergebnisse einer Untersuchung im Fach Mathematik. Zeitschrift für Pädagogik, 48(2), 262–286.Google Scholar
  11. Donaldson, J. F., Flannery, D., & Ross-Gordon, J. (1993). A triangulated study comparing adult college students’ perceptions of effective teaching with those of traditional students. Continuing Higher Education Review, 57(3), 147–165.Google Scholar
  12. Eder, F., & Bergmann, C. (2004). Der Einfluss von Interessen auf die Lehrer-Wahrnehmung von Schülerinnen und Schülern. Empirische Pädagogik, 18(4), 410–431.Google Scholar
  13. Engel, U. (1998). Einführung in die Mehrebenenanalyse. Grundlagen, Auswertungsverfahren und praktische Beispiele. Wiesbaden: VS.CrossRefGoogle Scholar
  14. Ferdinand, H. D. (2014). Entwicklung von Fachinteresse. Längsschnittstudie zu Interessenverläufen und Determinanten positiver Entwicklung in der Schule. Münster: Waxmann.Google Scholar
  15. Goldberg, G., & Callahan, J. (1991). Objectivity of student evaluations of instructors. Journal of Education for Business, 66(6), 377–378.CrossRefGoogle Scholar
  16. Göllner, R. V., Wagner, W. V., Klieme, E. V., Lüdtke, O. V., Nagengast, B. V., & Trautwein, U. V. (2016). Erfassung der Unterrichtsqualität mithilfe von Schülerurteilen. Chancen, Grenzen und Forschungsperspektiven. In Bundesministerium für Bildung und Forschung (Hrsg.), Forschungsvorhaben in Ankopplung an Large-Scale-Assessments (S. 63–82). Bielefeld: wbv.Google Scholar
  17. Greenwald, A. G. (1997). Validity concerns and usefulness of student ratings of instruction. American Psychologist, 52(11), 1182–1186.CrossRefGoogle Scholar
  18. Greimel, B. (2002). Lehrerevaluation durch Beurteilungen der Lernenden – eine Analyse des Standes der Evaluationsforschung. Zeitschrift für Berufs- und Wirtschaftspädagogik, 98(2), 197–224.Google Scholar
  19. Greimel-Fuhrmann, B. (2003). Evaluation von Lehrerinnen und Lehrern: Einflussgrößen auf das Gesamturteil von Lernenden. Innsbruck: StudienVerlag.Google Scholar
  20. Greimel-Fuhrmann, B., & Geyer, A. (2005). Die Wirkung von Interesse und Sympathie auf die Gesamtbeurteilung in der Lehrevaluation. Direkte und indirekte Effekte unter Berücksichtigung des Lehrverhaltens. Empirische Pädagogik, 19(2), 103–120.Google Scholar
  21. Gruehn, S. (2000). Unterricht und schulisches Lernen. Schüler als Quellen der Unterrichtsbeschreibung. Münster: Waxmann. Berlin, Freie Univ., Diss., 1998Google Scholar
  22. Helmke, A. (2009). Unterrichtsqualität und Lehrerprofessionalität. Diagnose, Evaluation und Verbesserung des Unterrichts (3. Aufl.). Seelze-Velber: Kallmeyer.Google Scholar
  23. Hox, J. (1998). Multilevel modeling: When and why. In I. Balderjahn, R. Mathar & M. Schader (Hrsg.), Classification, data analysis, and data highways (S. 147–154). Berlin: Springer.CrossRefGoogle Scholar
  24. Kloss, J. (2013). Grundschüler als Experten für Unterricht. Frankfurt: Peter Lang.Google Scholar
  25. Kunter, M. (2005). Multiple Ziele im Mathematikunterricht. Münster: Waxmann.Google Scholar
  26. Kunter, M., & Baumert, J. (2006). Who is the expert? Construct and criteria validity of student and teacher ratings of instruction. Learning Environments Research, 9(3), 231–251.CrossRefGoogle Scholar
  27. Langer, W. (2009). Mehrebenenanalyse. Eine Einführung für Forschung und Praxis (2. Aufl.). Wiesbaden: VS.Google Scholar
  28. Lazarides, R., & Ittel, A. (Hrsg.). (2012). Differenzierung im mathematisch-naturwissenschaftlichen Unterricht. Implikationen für Theorie und Praxis. Bad Heilbrunn: Klinkhardt.Google Scholar
  29. Lüdtke, O., & Trautwein, U. (2004). Die gymnasiale Oberstufe und psychische Ressourcen: Gewissenhaftigkeit, intellektuelle Offenheit und die Entwicklung von Berufsinteressen. In O. Köller, R. Watermann, U. Trautwein & O. Lüdtke (Hrsg.), Wege zur Hochschulreife in Baden-Württemberg: TOSCA – Eine Untersuchung an allgemein bildenden und beruflichen Gymnasien (S. 367–401). Wiesbaden: VS.  https://doi.org/10.1007/978-3-322-80906-3_11.CrossRefGoogle Scholar
  30. Lüdtke, O., Trautwein, U., Kunter, M., & Baumert, J. (2006). Reliability and agreement of student ratings of the classroom environment—A reanalysis of TIMSS data. Learning Environments Research, 9(3), 215–230.CrossRefGoogle Scholar
  31. Marsh, H. W., & Roche, L. A. (2000). Effects of grading leniency and low workload on students’ evaluations of teaching. Popular myth, bias, validity, or innocent bystanders? Journal of Educational Psychology, 92(1), 202–228.CrossRefGoogle Scholar
  32. McKeachie, W. J. (1997). Student ratings. The validity of use. American Psychologist, 52(11), 1218–1225.  https://doi.org/10.1037/0003-066X.52.11.1218.CrossRefGoogle Scholar
  33. Pauli, C. (2012). Merkmale guter Unterrichtsqualität im mathematisch-naturwissenschaftlichen Unterricht aus der Perspektive von Lernenden und Lehrpersonen. In R. Lazarides & A. Ittel (Hrsg.), Differenzierung im mathematisch-naturwissenschaftlichen Unterricht. Implikationen für Theorie und Praxis (S. 13–34). Bad Heilbrunn: Klinkhardt.Google Scholar
  34. Praetorius, A., Vieluf, S., Saß, S., Bernholt, A., & Klieme, E. (2016). The same in German as in English? Investigating the subject-specificity of teaching quality. Zeitschrift für Erziehungswissenschaft, 19(1), 191–209.CrossRefGoogle Scholar
  35. Prenzel, M., & Lankes, E.-M. (2013). Was können Schülerinnen und Schüler über ihren Unterricht sagen? Ein Blick in die Schülerfragebogen von internationalen Vergleichs-studien. In N. McElvany & H. G. Holtappels (Hrsg.), Empirische Bildungsforschung. Theorien, Methoden, Befunde und Perspektiven (S. 93–107). Münster: Waxmann.Google Scholar
  36. Rahn, S., Keune, M., Fuhrmann, C., & Gruehn, S. (2016). Aus Schüleraussagen lernen?! – Auf dem Weg zu einer professionellen Feedbackkultur an Schulen. DDS – Die Deutsche Schule, 108(2), 163–175.Google Scholar
  37. Rindermann, H. (2001). Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen; mit einem Beitrag zur Evaluation computerbasierten Unterrichts. Landau: Verlag Empirische Pädagogik.Google Scholar
  38. Samudra, P. G., Min, I., Cortina, K. S., & Miller, K. F. (2016). No second chance to make a first impression. The “thin-slice” effect on instructor ratings and learning outcomes in higher education. Journal of Educational Measurement, 53(3), 313–331.CrossRefGoogle Scholar
  39. Schurig, M., Glesemann, B., & Schröder, J. (2016). Dimensionen von Unterrichtsqualität. Die Generalisierbarkeit von Schülerurteilen über Fächer und Zeit. In R. Strietholt, W. Bos, H. G. Holtappels & N. McElvany (Hrsg.), Jahrbuch der Schulentwicklung. Daten, Beispiele und Perspektiven (S. 30–56). Weinheim: Beltz Juventa.Google Scholar
  40. Spiel, C., & Gössler, P. M. (2000). Zum Einfluß von Biasvariablen auf die Bewertung universitärer Lehre durch Studierende. Zeitschrift für pädagogische Psychologie, 14(1), 38–47.  https://doi.org/10.1024//1010-0652.14.1.38.CrossRefGoogle Scholar
  41. Thiel, F., & Ulber, D. (2007). Unterrichtsentwicklung durch Evaluation. In K.-O. Bauer (Hrsg.), Evaluation an Schulen. Theoretischer Rahmen und Beispiele guter Evaluationspraxis (S. 163–186). Weinheim: Juventa. Pädagogisches Training.Google Scholar
  42. Wagner, C. (2009). Wissenschaftlich und dennoch praktikabel? Nutzbarkeit von Daten aus Fragebogenerhebungen im Rahmen der internen Evaluation an Schulen. In D. Münk, T. Deißinger & R. Tenberg (Hrsg.), Forschungserträge aus der Berufs- und Wirtschaftspädagogik. Schriftenreihe der Sektion Berufs- und Wirtschaftspädagogik der Deutschen Gesellschaft für Erziehungswissenschaften (DGfE). Opladen, Farmington Hills: Budrich.Google Scholar
  43. Wagner, C. (2010). Unterrichtsentwicklung durch Evaluation am Beispiel des „Netzwerk Schülerbefragung“. Die berufsbildende Schule, 62(10), 291–297.Google Scholar
  44. Wagner, W. (2008). Methodenprobleme bei der Analyse der Unterrichtswahrnehmung aus Schülersicht – am Beispiel der Studie DESI (Deutsch Englisch Schülerleistungen International) der Kultusministerkonferenz. Koblenz-Landau: Universität Koblenz-Landau. Koblenz-Landau, Univ., Diss., 2008Google Scholar
  45. Wagner, W., Göllner, R., Helmke, A., Trautwein, U., & Lüdtke, O. (2013). Construct validity of student perceptions of instructional quality is high, but not perfect. Dimensionality and generalizability of domain-independent assessments. Learning and Instruction, 28, 1–11.  https://doi.org/10.1016/j.learninstruc.2013.03.003.CrossRefGoogle Scholar
  46. Wagner, W., Göllner, R., Werth, S., Voss, T., Schmitz, B., & Trautwein, U. (2016). Student and teacher ratings of instructional quality: Consistency of ratings over time, agreement, and predictive power. Journal of Educational Psychology, 108(5), 705–721.CrossRefGoogle Scholar
  47. Waldis, M., Grob, U., Pauli, C., & Reusser, K. (2010). Der Einfluss der Unterrichtsgestaltung auf Fachinteresse und Mathematikleistung. In K. Reusser, C. Pauli & M. Waldis (Hrsg.), Unterrichtsgestaltung und Unterrichtsqualität – Ergebnisse einer internationalen und schweizerischen Videostudie zum Mathematikunterricht (S. 209–251). Münster: Waxmann.Google Scholar

Copyright information

© Die Herausgeber und Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019

Authors and Affiliations

  • Sylvia Rahn
    • 1
    Email author
  • Sabine Gruehn
    • 2
  • Christoph Fuhrmann
    • 1
  • Miriam Sharon Keune
    • 1
    • 3
  1. 1.Institut für Bildungsforschung in der School of EducationBergische Universität WuppertalWuppertalDeutschland
  2. 2.Institut für ErziehungswissenschaftWestfälische Wilhelms-Universität MünsterMünsterDeutschland
  3. 3.Institut für Berufliche LehrerbildungFachhochschule MünsterMünsterDeutschland

Personalised recommendations