Learning about students’ knowledge and thinking in science through large-scale quantitative studies

Abstract

The main issue addressed in this article is that there is much to learn about students’ knowledge and thinking in science from largescale international quantitative studies beyond overall score measures. Response patterns on individual or groups of items can give valuable diagnostic insight into students’ conceptual understanding, but there is also a danger of drawing conclusions that may be too simple and nonvalid. We discuss how responses to multiple-choice items could be interpreted, and we also show how responses on constructed-response items can be systematised and analysed. Finally, we study, empirically, interactions between item characteristics and student responses. It is demonstrated that even small changes in the item wording and/or the item format may have a substantial influence on the response pattern. Therefore, we argue that interpretations of results from these kinds of studies should be based on a thorough analysis of the actual items used. We further argue that diagnostic information should be an integrated part of the international research aims of such large-scale studies. Examples of items and student responses presented are taken from The Third International Mathematics and Science Study (TIMSS).

Résumé

L’article met à jour le fait que les études quantitatives internationales à grande échelle nous disent beaucoup, au-delà des mesures générales de scores, sur les connaissances et les pensées des élèves par rapport aux sciences. Les patterns des réponses données à des items individuels ou bien à des groupes d’items peuvent nous éclairer sur la compréhension conceptuelle des élèves, mais risquent de conduire à des conclusions trop simples et non-valides. On discute les moyens de systématiser et d’analyser les réponses à des items à choix multiple. Enfin, on étudie empiriquement les interactions entre certains caractéristiques des items et les réponses des élèves. On montre qu’il suffit d’une petite modification dans la manière de formuler et/ou formater l’item pour produire un effet substantiel dans le pattern de la réponse. Il s’ensuit que l’interprétation des résultats provenant de ce type d’études doit être basée sur une analyse approfondie des items administrés. Il s’ensuit également que l’information diagnostique peut être une partie constitutive des objectifs de recherche internationaux qu’on cherche à réaliser par ce type d’études à grande échelle. Les exemples présentés d’items et de réponses des élèves sont extraits de la Third International Mathematics and Science Study (TIMSS).