Advertisement

Validierung eines Fragenbogens zur Erfassung studentischer Forschungskompetenzen über Selbsteinschätzungen – Ein Instrument zur Evaluation forschungsorientierter Lehr-Lernarrangements

  • Franziska Böttcher-OschmannEmail author
  • Jana Groß Ophoff
  • Felicitas Thiel
Allgemeiner Teil
  • 27 Downloads

Zusammenfassung

Studentische Forschungskompetenzen können auf Grundlage eines fachkulturübergreifenden Ansatzes modelliert und mit dem zugehörigen Fragebogen zur Erfassung studentischer Forschungskompetenzen über Selbsteinschätzungen erfasst werden. Diese Kompetenzselbsteinschätzungen können ein nützliches und valides Erhebungsverfahren darstellen. Zur Validierung des vorliegenden Fragebogens wird zum einen überprüft, ob Forschungskompetenzen und keine Lern- oder Studienkompetenzen wie epistemologische Überzeugungen, kognitive Lernstrategien oder kognitive Fähigkeiten erfasst werden. Zum anderen wird die Validität der Selbsteinschätzungen von Kompetenzen überprüft. Dazu werden Zusammenhänge untersucht zu a) einem Kompetenztest zur Erfassung bildungswissenschaftlicher Forschungskompetenz sowie zu b) einem Instrument, das forschungsbezogene Selbstwirksamkeitserwartungen ebenfalls über Selbsteinschätzungen erhebt. In drei Studien werden die angenommenen Zusammenhänge auf latenter oder manifester Ebene analysiert. Die Ergebnisse weisen darauf hin, dass mit unserem Fragebogen Forschungskompetenzen und keine Lern- oder Studienkompetenzen erfasst werden. Die Ergebnisse der Validierung der Methodik deuten hingegen darauf hin, dass weitere Untersuchungen in diesem Bereich notwendig sind, um die vielfältigen Einsatzmöglichkeiten von Kompetenzselbsteinschätzungen an die jeweilige Zielgruppe anzupassen.

Schlüsselwörter

Fachkulturübergreifendes Kompetenzmodell Lern- und Studienkompetenzen Selbstwirksamkeitserwartungen Kompetenztest Konstruktvalidität 

Validation of a questionnaire to assess university students’ research competences via self-evaluation – An instrument for evaluating research-oriented teaching and learning arrangements

Abstract

University students’ research competences can be modelled on the basis of a cross-disciplinary approach and measured with the corresponding instrument to assess these competences via self-evaluation. The method of self-evaluation can be a useful and valid survey method. To validate this instrument, it is first verified that research-related competences are measured and not competences for learning and studying, such as epistemological beliefs, cognitive learning strategies or cognitive abilities. Second, the validity of self-evaluation is evaluated. Therefore, correlations are investigated to a) a test measuring Educational Research Literacy and to b) an instrument measuring research self-efficacy via self-evaluation, too. Three studies are conducted to examine the assumed relations in latent or manifest approaches. The results indicate that our instrument measures research-related competences and not competences for learning and studying. However, the results of the validation of the chosen method indicate that further research is needed in this area in order to adapt the various application possibilities of competence self-evaluation to the particular target group.

Keywords

Cross-disciplinary competence model Competences for learning and studying Self-efficacy beliefs Competence test Construct validity 

Notes

Danksagung

Wir danken den anonymen Gutachterinnen und Gutachtern für die wertvollen Hinweise und hilfreichen Literaturempfehlungen, die in die Überarbeitung des Manuskriptes eingeflossen sind.

Supplementary material

42010_2019_53_MOESM1_ESM.docx (20 kb)
Fragebogen und Beispiel-Testaufgabe

Literatur

  1. Arthur Jr., W., & Day, D. V. (1994). Development of a short form for the raven advanced progressive matrices test. Educational and Psychological measurement, 54(2), 394–403.CrossRefGoogle Scholar
  2. Bach, A. (2013). Kompetenzentwicklung im Schulpraktikum: Ausmaß und zeitliche Stabilität von Lerneffekten hochschulischer Praxisphasen. Münster: Waxmann.Google Scholar
  3. Bandura, A. (2006). Guide for constructing self-efficacy scales. Self. efficacy beliefs of adolescents, 5(1), 307–337.Google Scholar
  4. Bauer, W., Bleck-Neuhaus, J., Dombois, R., & Wehrtmann, I. (2013). Forschungsprojekte entwickeln – von der Idee bis zur Publikation. Baden-Baden: Nomos.Google Scholar
  5. Bieschke, K. J., Bishop, R. M., & Garcia, V. L. (1996). The utility of the research self-efficacy scale. Journal of Career Assessment, 4(1), 59–75.CrossRefGoogle Scholar
  6. Blüthmann, I. (2012). Studierbarkeit, Studienzufriedenheit und Studienabbruch: Analysen von Einflussfaktoren in den Bachelorstudiengängen. Berlin: Freie Universität Berlin.Google Scholar
  7. Bors, D. A., & Stokes, T. L. (1998). Raven’s advanced progressive matrices: Norms for first-year university students and the development of a short form. Educational and Psychological measurement, 58(3), 382–398.CrossRefGoogle Scholar
  8. Bortz, J., & Döring, N. (2006). Forschungsmethoden und Evaluation: Für Human- und Sozialwissenschaftler. Heidelberg: Springer-Medizin-Verlag.CrossRefGoogle Scholar
  9. Böttcher, F., & Thiel, F. (2018). Evaluating research-oriented teaching: a new instrument to assess university students’ research competences. Higher Education, 75(1), 91–110.CrossRefGoogle Scholar
  10. Böttcher, F., & Thiel, F. (2016). Der Fragebogen zur Erfassung studentischer Forschungskompetenzen – Ein Instrument auf der Grundlage des RMRK-W-Modells zur Evaluation von Formaten forschungsorientierter Lehre. In B. Berendt, A. Fleischmann, N. Schaper, B. Szczyrba, & J. Wildt (Hrsg.), Neues Handbuch Hochschullehre (I 2.11, S. 57–74). Berlin: DUZ Medienhaus.Google Scholar
  11. Braun, E. (2008). Das Berliner Evaluationsinstrument für selbsteingeschätzte studentische Kompetenzen (BEvaKomp). Göttingen: V&R Unipress.CrossRefGoogle Scholar
  12. Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York, NY: Guilford.Google Scholar
  13. Bühner, M. (2011). Einführung in die Test- und Fragebogenkonstruktion. München u. a.: Pearson Deutschland GmbH.Google Scholar
  14. Bulheller, S., & Häcker, H. O. (1998). Advanced Progressive Matrices (APM). Deutsche Bearbeitung und Normierung nach JC Raven. Frankfurt a. M.: Pearson Assessment.Google Scholar
  15. Busato, V. V., Prins, F. J., Elshout, J. J., & Hamaker, C. (2000). Intellectual ability, learning style, personality, achievement motivation and academic success of psychology students in higher education. Personality and Individual Differences, 29(6), 1057–1068.CrossRefGoogle Scholar
  16. Butts, R. E. (1991). Methodology, metaphysics and the pragmatic unity of science. In Akademie der Wissenschaften zu Berlin (Hrsg.), Einheit der Wissenschaften: Internationales Kolloquium der Akademie der Wissenschaften zu Berlin (Bonn, 25.–27. Juni 1990) (S. 23–28). Berlin, New York: W. de Gruyter.Google Scholar
  17. Cassidy, S., & Eachus, P. (2000). Learning style, academic belief systems, self-report student proficiency and academic achievement in higher education. Educational Psychology, 20(3), 307–322.CrossRefGoogle Scholar
  18. Cattell, R. B. (1987). Intelligence: Its structure, growth and action. Amsterdam: Elsevier Science.Google Scholar
  19. Chevalier, A., Gibbons, S., Thorpe, A., Snell, M., & Hoskins, S. (2009). Students’ academic self-perception. Economics of Education Review, 28(6), 716–727.CrossRefGoogle Scholar
  20. Cohen, J. (1992). A power primer. Psychological bulletin, 112(1), 155.CrossRefGoogle Scholar
  21. Cramer, C. (2010). Kompetenzerwartungen Lehramtsstudierender. Grenzen und Perspektiven selbsteingeschätzter Kompetenzen in der Lehrerbildungsforschung. In A. Gehrmann, U. Hericks, & M. Lüders (Hrsg.), Bildungsstandards und Kompetenzmodelle: Beiträge zu einer aktuellen Diskussion über Schule, Lehrerbildung und Unterricht (S. 85–97). Bad Heilbrunn: Klinkhardt Verlag.Google Scholar
  22. Decker, L., Kaplan, I., & Siebert-Ott, G. (2015). Modellierung und Erfassung akademischer Textkompetenzen (AkaTex Working Papers 3). Siegen und Köln. https://www.uni-siegen.de/phil/akatex/publikationen_und_vortraege/download/ako-workingpaper-neu.pdf. Zugegriffen: 6. Aug. 2018.Google Scholar
  23. Forester, M., Kahn, J. H., & Hesson-McInnis, M. S. (2004). Factor structures of three measures of research self-efficacy. Journal of Career Assessment, 12(1), 3–16.CrossRefGoogle Scholar
  24. Gess, C., Wessels, I., & Blömeke, S. (2017). Domain-specificity of research competencies in the social sciences: Evidence from differential item functioning. Journal for Educational Research Online, 9(2), 11–36.Google Scholar
  25. Groß Ophoff, J., Wolf, R., Schladitz, S., & Wirtz, M. (2017). Assessment of educational research literacy in higher education: Construct validation of the factorial structure of an assessment instrument comparing different treatments of omitted responses. Journal for Educational Research Online. Journal für Bildungsforschung Online, 9(2), 37–68.Google Scholar
  26. Groß Ophoff, J., Schladitz, S., Lohrmann, K., & Wirtz, M. (2014). Evidenzorientierung in bildungswissenschaftlichen Studiengängen. In K. Drossel, R. Strietholt, & W. Bos (Hrsg.), Empirische Bildungsforschung und evidenzbasierte Reformen im Bildungswesen (S. 251–275). Münster, Westf: Waxmann.Google Scholar
  27. Hartig, J., & Kühnbach, O. (2006). Schätzung von Veränderung mit „plausible values“ in mehrdimensionalen Rasch-Modellen. In A. Ittel & H. Merkens (Hrsg.), Veränderungsmessung und Längsschnittstudien in der empirischen Erziehungswissenschaft (S. 27–44). Wiesbaden: VS Verlag für Sozialwissenschaften/GWV Fachverlage GmbH Wiesbaden.Google Scholar
  28. Hollingsworth, M. A., & Fassinger, R. E. (2002). The role of faculty mentors in the research training of counseling psychology doctoral students. Journal of Counseling Psychology, 49(3), 324–330.CrossRefGoogle Scholar
  29. Kiefer, T., Robitzsch, A., & Wu, M. (2016). TAM: Test Analysis Modules. R Package. Version, Bd. 1 (S. 995–990).Google Scholar
  30. Klieme E., Hartig J. (2008) Kompetenzkonzepte in den Sozialwissenschaften und im erziehungswissenschaftlichen Diskurs. In M. Prenzel, I. Gogolin, HH. Krüger (Hrsg.), Kompetenzdiagnostik (S. 11-29). Wiesbaden: VS Verlag für SozialwissenschaftenGoogle Scholar
  31. König, J., & Tachtsoglou, S. (2012). Pädagogisches Professionswissen und selbsteingeschätzte Kompetenz. In J. König & A. Seifert (Hrsg.), Lehramtsstudierende erwerben pädagogisches Professionswissen. Ergebnisse der Längsschnittstudie LEK zur Wirksamkeit der erziehungswissenschaftlichen Lehrerausbildung (S. 284–297). Münster/ New York/ München/ Berlin: Waxmann.Google Scholar
  32. König, J., Tachtsoglou, S., & Seifert, A. (2012). Individuelle Voraussetzungen, Lerngelegenheiten und der Erwerb von pädagogischem Professionswissen. In J. König & A. Seifert (Hrsg.), Lehramtsstudierende erwerben pädagogisches Professionswissen. Ergebnisse der Längsschnittstudie LEK zur Wirksamkeit der erziehungswissenschaftlichen Lehrerausbildung (S. 234–283). Münster/ New York/ München/ Berlin: Waxmann.Google Scholar
  33. Kossek, B. (2009). Survey: Die forschungsgeleitete Lehre in der internationalen Diskussion. https://ctl-lectures-archiv.univie.ac.at/fileadmin/user_upload/elearning/Forschungsgeleitete_Lehre_International_090414.pdf. Zugegriffen: 11. Juli 2018.Google Scholar
  34. Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: how difficulties in recognizing one’s own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121.CrossRefGoogle Scholar
  35. Kunter, M., & Klusmann, U. (2010). Kompetenzmessung bei Lehrkräften – Methodische Herausforderungen. Unterrichtswissenschaft, 38(1), 68–86.Google Scholar
  36. Langer, W. (2000). Einführung in sozialwissenschaftliche Skalen-, Index- und Typenkonstruktion. Online-Dokument. https://langer.soziologie.uni-halle.de/pdf/meth1/skalieren2.pdf. Zugegriffen: 11. Juli 2018.
  37. Liepmann, D., Beauducel, A., Brocke, B., & Amthauer, R. (2001). Intelligenz-Struktur-Test 2000 R. Göttingen: Hogrefe.Google Scholar
  38. Little, R. J. A. (1988). A test of missing completely at random for multivariate data with missing values. Journal of the American Statistical Association, 83(404), 1198–1202.CrossRefGoogle Scholar
  39. Lucas, R. E., & Baird, B. M. (2006). Global Self-Assessment. In M. Eid & E. Diener (Hrsg.), Handbook of Multimethod Measurement in Psychology (S. 29–42). Washington: American Psychological Association.Google Scholar
  40. Lüdtke, O., Robitzsch, A., Trautwein, U., & Köller, O. (2007). Umgang mit fehlenden Werten in der psychologischen Forschung. Psychologische Rundschau, 58(2), 103–117.CrossRefGoogle Scholar
  41. Mabe, P. A., & West, S. G. (1982). Validity of self-evaluation of ability: A review and meta-analysis. Journal of Applied Psychology, 67(3), 280.CrossRefGoogle Scholar
  42. Mayer, R. E. (2003). What causes individual differences in cognitive performance? In R. J. Sternberg & E. Grigorenko (Hrsg.), Perspectives on the psychology of abilities, competencies, and expertise (S. 263–273). New York: Cambridge University Press.CrossRefGoogle Scholar
  43. Mertens, S., & Gräsel, C. (2018). Entwicklungsbereiche bildungswissenschaftlicher Kompetenzen von Lehramtsstudierenden im Praxissemester. Zeitschrift für Erziehungswissenschaft.  https://doi.org/10.1007/s11618-018-0825-z.CrossRefGoogle Scholar
  44. Mittelhaëuser, M.-A., Béguin, A. A., & Sijtsma, K. (2011). Comparing the effectiveness of different linking designs: The internal anchor versus the external anchor and pre-test data. Arnheim. Netherlands: Cito.Google Scholar
  45. Mittelstraß, J. (1991). Einheit und Transdisziplinarität. In Akademie der Wissenschaften zu Berlin (Hrsg.), Einheit der Wissenschaften: Internationales Kolloquium der Akademie der Wissenschaften zu Berlin (Bonn, 25.–27. Juni 1990) (S. 12–22). Berlin, New York: W. de Gruyter.Google Scholar
  46. Pfitzner-Eden, F., Thiel, F., & Horsley, J. (2014). An adapted measure of teacher self-efficacy for preservice teachers: Exploring its validity across two countries. Zeitschrift für Pädagogische Psychologie, 28(3), 83–92.CrossRefGoogle Scholar
  47. Phillips, J. C., & Russell, R. K. (1994). Research self-efficacy, the research training environment, and research productivity among graduate students in counseling psychology. The Counseling Psychologist, 22(4), 628–641.CrossRefGoogle Scholar
  48. Richardson, V. (1996). The role of attitudes and beliefs in learning to teach. Handbook of research on teacher education, 2, 102–119.Google Scholar
  49. Rodgers, W. M., Markland, D., Selzler, A.-M., Murray, T. C., & Wilson, P. M. (2014). Distinguishing perceived competence and self-efficacy: An example from exercise. Research Quarterly for Exercise and Sport, 85(4), 527–539.CrossRefGoogle Scholar
  50. Satorra, A., & Bentler, P. M. (2001). A scaled difference chi-square test statistic for moment structure analysis. Psychometrika, 66(4), 507–514.CrossRefGoogle Scholar
  51. Schermelleh-Engel, K., Moosbrugger, H., & Müller, H. (2003). Evaluating the fit of structural equation models: Tests of significance and descriptive goodness-of-fit measures. Methods of psychological research online, 8(2), 23–74.Google Scholar
  52. Schladitz, S., Groß Ophoff, J., & Wirtz, M. (2015). Konstruktvalidierung eines Tests zur Messung bildungswissenschaftlicher Forschungskompetenz. Zeitschrift für Pädagogik, 61, 167–184.Google Scholar
  53. Schommer, M. (1998). The influence of age and education on epistemological beliefs. British Journal of Educational Psychology, 68(4), 551–562.CrossRefGoogle Scholar
  54. Schwartz, C. E., & Sprangers, M. A. G. (1999). Methodological approaches for assessing response shift in longitudinal health-related quality-of-life research. Social science & medicine, 48(11), 1531–1548.CrossRefGoogle Scholar
  55. Schweizer, K., & Koch, W. (2002). Fluide Intelligenz und mittelfristig erworbenes Wissen in einer spezifischen Wissensdomäne. Zeitschrift für Psychologie / Journal of Psychology, 210(3), 111–121.CrossRefGoogle Scholar
  56. Simonton, D. K. (2003). Expertise, competence, and creative ability. In R. J. Sternberg & E. Grigorenko (Hrsg.), Perspectives on the psychology of abilities, competencies, and expertise (S. 213–240). New York: Cambridge University Press.CrossRefGoogle Scholar
  57. Steuer, G., Engelschalk, T., Jöstl, G., Roth, A., Wimmer, B., Schmilz, B., et al. (2015). Kompetenzen zum selbstregulierten Lernen im Studium. Ergebnisse der Befragung von Expert(inn)en aus vier Studienbereichen. In S. Blömeke & O. Zlatkin-Troitschanskaia (Hrsg.), Kompetenzen von Studierenden (S. 203–225). Weinheim u. a.: Beltz Juventa.Google Scholar
  58. Strobl, C. (2010). Das Rasch-Modell: Eine verständliche Einführung für Studium und. München: Hampp: Praxis.Google Scholar
  59. Thiel, F., & Böttcher, F. (2014). Modellierung fächerübergreifender Forschungskompetenzen – Das RMKR-W-Modell als Grundlage der Planung und Evaluation von Formaten forschungsorientierter Lehre. In B. Berendt, A. Fleischmann, J. Wildt, N. Schaper & B. Szczyrba (Hrsg.), Neues Handbuch Hochschullehre (I 2.10, S. 109–124). Berlin: Raabe.Google Scholar
  60. Trautwein, U., & Lüdtke, O. (2007). Epistemological beliefs, school achievement, and college major: A large-scale longitudinal study on the impact of certainty beliefs. Contemporary educational psychology, 32(3), 348–366.CrossRefGoogle Scholar
  61. Trautwein, U., Watermann, R., Nagy, G., & Lüdtke, O. (2004). Transformation des Sekundarschulsystems und akademische Karrieren (TOSCA). Skalenhandbuch, Welle 2. Forschungsbericht. Berlin: Max-Planck-Institut für Bildungsforschung.Google Scholar
  62. Tremp, P., & Futter, K. (2012). Forschungsorientierung in der Lehre: Curriculare Leitlinie und studentische Wahrnehmung. In Deutsche Gesellschaft für Hochschuldidaktik, DGHD: Einführung in die Studiengangentwicklung (S. 69–80). Bielefeld: Arbeitsgemeinschaft für Hochschuldidaktik.Google Scholar
  63. Warm, T. A. (1989). Weighted likelihood estimation of ability in item response theory. Psychometrika, 54(3), 427–450.CrossRefGoogle Scholar
  64. Weinert, F. E. (2001). Concept of competence: A conceptual clarification. In D. S. Rychen & L. H. Salganik (Hrsg.), Defining and selecting key competencies (S. 45–65). Ashland, OH, US: Hogrefe & Huber Publishers.Google Scholar
  65. Weiß, R. H. (2006). R: Grundintelligenztest – Revision. CFT, Bd. 20. Göttingen: Hogrefe.Google Scholar
  66. Wigfield, A., & Eccles, J. S. (2000). Expectancy-value theory of achievement motivation. Contemporary educational psychology, 25(1), 68–81.CrossRefGoogle Scholar
  67. Wild, K.-P., & Schiefele, U. (1994). Lernstrategien im Studium: Ergebnisse zur Faktorenstruktur und Reliabilität eines neuen Fragebogens. Zeitschrift für differentielle und diagnostische. Psychologie, 15, 185–200.Google Scholar
  68. Willison, J., & O’Regan, K. (2007). Commonly known, commonly not known, totally unknown: a framework for students becoming researchers. Higher Education Research. Development, 26(4), 393–409.Google Scholar
  69. Wright, B. D., & Douglas, G. A. (1996). Estimating Rasch (person, ability, theta) measures with known dichotomous item difficulties: Anchored Maximum Likelihood Estimation (AMLE). Rasch Measurement Transactions, 10(2), 499.Google Scholar
  70. Yuan, K‐. H., & Bentler, P. M. (2000). Three likelihood‐based methods for mean and covariance structure analysis with nonnormal missing data. Sociological methodology, 30(1), 165–200.CrossRefGoogle Scholar

Copyright information

© Die Herausgeber und Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019

Authors and Affiliations

  1. 1.Arbeitsbereich Schulpädagogik/ SchulentwicklungsforschungFreie Universität BerlinBerlinDeutschland
  2. 2.Institut für ErziehungswissenschaftTübingen School of EducationTübingenDeutschland

Personalised recommendations