Advertisement

Strahlentherapie und Onkologie

, Volume 175, Issue 4, pp 141–153 | Cite as

Der impact-faktor als bewertungskriterium wissenschaftlicher leistungen — das recht auf chancengleichheit

  • Siegfried Lehrl
Aktuelles Forum

Evaluating scientific performances by impact factors — the right for equal chances

Abstract

Hintergrund

Bewertungen der wissenschaftlichen Leistungen von Zeitschriften, einzelnen Arbeiten, Wissenschaftlern und Forschungsgruppen, zum Beispiel für Förderungsentscheidungen, legen zunehmend den Impact-Faktor (IF) zugrunde, den das Institute for Scientific Information regelmäβ ig in den Journal Citation Reports JCR veröffentlicht.

Fragestellungen

1. Wie valide ist der IF bei der Zuordnung zu Zeitschriften, Artikeln, Wissenschaftlern und Forschungsgruppen? 2. Haben diese alle die gleiche Chance, bewertet zu werden? 3. Wie erreicht man faire Bewertungen? 4. Wie erhöht man die Validität bei der Bewertung wissenschaftlicher Leistungen?

Ergebnisse

Der IF bezieht sich auf die Beiträge der letzten zwei Kalenderjahre einer Zeitschrift. Der Wert entspricht der durchschnittlichen Anzahl an Zitationen, die ein Artikel von den in den JCR erfaβ ten Zeitschriften erhielt. Wie die Auswahl der zitierenden sowie mit dem IF versehenen Publikationsorgane erfolgt, ist nicht vollständig bekannt. Die Zitationen haben zwar keine gleichen Meβ einheiten, die empirischen Befunde rechtfertigen aber die Anwendung. Die IF der Zeitschriften und die Zitationsraten ihrer Beiträge sind rechtsseitig schief verteilt, und letztere streuen zudem stark. Deshalb entspricht der IF einer Zeitschrift selten der tatsächlichen Zitationsmenge ihrer Artikel. Er überschätzt meistens die Zitationshäufigkeit und Qualität. Die in seiner Anwendung auf Artikel vorherrschende Schwäche, Leistungen mit niedriger und hoher Qualität ungenügend zu erkennen, erhöht sich noch hinsichtlich Wissenschaftlern und kleinen Forschungsgruppen. Sie erniedrigt sich wieder bei umfangreicheren Forschungsgruppen, die in zwei Jahren wenigstens 100 Arbeiten veröffentlichen. Versteht man unter dem Ausmaβ einer wissenschaftlichen Leistung, wieviel Information eine Arbeit zum Stand der Wissenschaften hinzufügt, dann gelten Sprachigkeit, Aktualität usw. wegen der relativ hohen Zitationsraten von englischen, biomedizinischen, aktuellen Artikeln und Übersichtsarbeiten als Störvariablen.

Schluβ folgerungen

Bewertungen durch den IF sollten sich auf Zeitschriften und groβ e Forschungsgruppen beschränken. Die Fairneβ gebietet Vergleiche zwischen homogenen Zeitschriften hinsichtlich der Störvariablen. Für alle Zeitschriften sollte die Bewertung durch den IF offen sein, wenn sie die Mindestkriterien für eine international kommunizierende Wissenschaft erfüllen. Dazu gehören Titel, Schlüsselwörter und Abstract auf Englisch und Erfüllung weiterer Standards wie Autorenadressen und Gutachtersystem. Zeitschriften bilden oft den Mittelpunkt von Wissenschaftskulturen, aus denen immer wieder Weltklasseforschung hervorgeht. Die Nutzer können in Mitverantwortung einiges dazu beitragen, den IF “ihrer” Zeitschrift zu erhöhen, andererseits aber auch darauf achten, daβ seine Anwendungsgrenzen eingehalten werden.

Abstract

Background

Regularly the Institute of Scientific Information publishes the impact factor (IF) that plays an increasing role when the scientific quality of scientific performances of journals, single publications, scientists, and research groups have to be evaluated in order to support them.

Questions

How valid is the IF assigned to journals, single publications, scientists, and research groups? Have all these the same chance to be evaluated? How can fairness of evaluation be increased? Can its validity be improved?

Results

The value of IF equals the average number of citations per article published in the preceding 2 calender years in a journal. The criteria for selection of citing journals and of those with an “official” IF are not fully explicated. Although the citations have no equal units of measurement, empirical findings confirm their pragmatic applicability. IF of journals and even the citation rates of its articles are skewedly distributed to right hand. Additionnally, the citation rates of the articles within a journal vary. Therefore, the IF of journals rarely equal the actual citation rates of their articles. Usually, IF overestimates the citation rate and quality of the articles. Its tendency not to recognize low and high quality even increases when IF is administered to individual scientists and small research groups, whereas it decreases in large research groups. Under the premise that the extent of scientific quality corresponds to the amount of information a paper adds to the state of science, language, actuality etc. are confounders because English, reviewing, biomedical, and actual articles have preferred citation rates.

Conclusions

Evaluation of scientific performances by IF is to be restricted to journals and large research groups. Fairness demands comparisons to homogeneous journals with respect to confounders such as language. Principally, no journal should be excluded to obtain an IF if it fullfills the minimum criteria of an internationally communicating science. For this purpose they have to provide a title, key words, and an abstract in English, a peer review system etc. Often journals are the centre of science cultures that are able to generate research of highest levels. The users can contribute to increase the IF of “their” journal and to care for the valid application of this indicator.

Schlüsselwörter

Impact-Faktor Bibliometrie Bewertung wissenschaftlicher Leistungen Forschungsqualität Wissenschaftliche Zeitschriften 

Key Words

Impact factor Bibliometry Evaluation of scientific performance Quality of research Scientific journals 

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literatur

  1. 1.
    AWMF. AWMF-Kommission “Bibliometrie” zum Impact-Faktor: Fachgesellschaften sind zur Benennung wichtiger wissenschaftlicher Zeitschriften aufgefordert. In: Mitteilungen der AWMF, Hrsg. Düsseldorf: Geschäftsstelle der AWMF, Okt. 1997;1–2.Google Scholar
  2. 2.
    Bador P, Petit O. Facteur d’impact et indexation dans les bases de donnees bibliographiques: comparaison de ces deaux criteres de qualite pour l’evaluation des revues pharmaceutiques. J Pharm Belg 1998;53: 71–3.PubMedGoogle Scholar
  3. 3.
    Bauin S, Rothman H. “Impact” of journals as proxies for citation counts. In: Weingart P, Sehringer S, Winterhager M, eds. Representations of science and technology. Leiden: DSWO Press, 1992;225–39.Google Scholar
  4. 4.
    Blum AL, Ingold F, Martinek J. Die Motivation der Autoren — Wahrheit oder Karriere. In: Creutzfeldt W, Gerok W, Hrsg. Medizinische Publizistik — Probleme und Zukunft. Stuttgart: Thieme, 1997;43–61.Google Scholar
  5. 5.
    Braun T, Bujdosó E. Gatekeepinig patterns in the publication of analytical chemistry research. Talanta 1983;30:161–7.PubMedCrossRefGoogle Scholar
  6. 6.
    Braun, T, Glänzel W, Schubert A. National patterns and citation impact in the multidisciplinary journals Nature and Science. Scientometrics 1989;17:11–4.CrossRefGoogle Scholar
  7. 7.
    Bromm, B. Forschungsevaluation im FB Medizin der Universität Hamburg. In: Frömrnel C, Heβ D, eds. Workshop Leistungsbewertung — Forschung. Förderung der /Forschung an Medizinischen Fakultäten und Hochschulen. Berlin: Klarsicht, 1998:164–72.Google Scholar
  8. 8.
    Cano V, Lind NC. Citation life cycles of ten citation classics. Scientometrics 1991;22:297–312.CrossRefGoogle Scholar
  9. 9.
    Cole JR, Cole S. Social stratification in science. Chicago: University of Chicago Press, 1973.Google Scholar
  10. 10.
    Daniel H-D. Guardians of science. Fairness and reliability of Peer Review. Weinheim: VCH Verlagsgesellschaft mbH, 1993.Google Scholar
  11. 11.
    De SollaPrice D. Little science, big science. Von der Studierstube zur Groβ forschung. Frankfurt: Suhrkamp, 1974.Google Scholar
  12. 12.
    Dubin D, Hafner AW, Arndt KA. Citation classics in clinical dermatologic Journals. Citation analysis, biomedical journals, and landmark articles, 1945–1990. Arch Dermatol 1993;129:1121–9.PubMedCrossRefGoogle Scholar
  13. 13.
    Ell C, Gunreben E, Kettner S, Lehrl S. Forschungsaktivität und Forschungsqualität im Spiegel von Zitationsindizes. Z Gastroenterol 1997;35:23–8.PubMedGoogle Scholar
  14. 14.
    Endler NS, Edwards JM. The “Stars” revisited: what are the “Stars” of the 1970s doing in the 1980s. Canad Psychol/Psychol Canadienne 1987; 28:148–60.Google Scholar
  15. 15.
    Frömter E. Vorschlag zur Normierung des Impact-Faktors. In: Frömmel C, Heβ D, eds. Workshop Leistungsbewertung — Forschung. Förderung der Forschung an Medizinischen Fakultäten und Hochschulen. Berlin: Klarsicht, 1998:97–115.Google Scholar
  16. 16.
    Garfield E. Citation analysis as a tool in journal evaluation. Science 1972;178:471–9.PubMedCrossRefGoogle Scholar
  17. 17.
    Garfield E. Bradford’s law and related statistical patterns. Curr Cont 1980;19:5–12.Google Scholar
  18. 18.
    Garfield E, Hrsg. SCI Journal Citation Reports 1985,1986,1987. Science Citation Index, Vol 19. Philadelphia: Institute for Scientific Information, 1986,1987,1988.Google Scholar
  19. 19.
    Garfield E. Journal selection for current contents: Editorial Merit vs. Political Press Curr Cont 1985;March 18:3.Google Scholar
  20. 20.
    Garfield E. How ISI detects journals for coverage: quantitative and qualitative considerations. Curr Cont 1990;22:5–13.Google Scholar
  21. 21.
    Garfield E. How can impact factors be improved? Br Med J 1996;313:411–3.Google Scholar
  22. 22.
    Garfield E, Welljams-Dorof A. Citation data: their use as quantitative indicators for science and technology evaluation and policy-making. Sci Publ Pol 1992;19:331–7.Google Scholar
  23. 23.
    Garfield E, Welljams-Dorof A. The microbiology literature: languages of publication and their relative citation impact. FEMS Microbiol Lett 1992;100:33–7.CrossRefGoogle Scholar
  24. 24.
    Gerok W. Aufgaben und Qualitätsmerkmale medizinischer Fachliteratur-zwischen Wissenschaft und Fortbildung. In: Creutzfeldt W, Gerok G, Hrsg. Medizinische Publizistik — Probleme und Zukunft. Stuttgart: Thieme, 1997;1–9.Google Scholar
  25. 25.
    Gomez I, Coma L, Morillo F, et al. Medicina Clinica (1992–1993) vista a traves del Science Citation Index. Med Clin 1997;109:497–505.Google Scholar
  26. 26.
    Habermann E. Arzneirnitteltherapie — Fortschritt und Kontrolle. Versuch einer erkenntnistheoretischen Fundierung. Futura 1987;4:6–9.Google Scholar
  27. 27.
    Hansen HB, Brinch K, Henriksen JH. Scientific publications from departments of clinical physiology and nuclear medicine in Denmark. A bibliometric analysis of “impact” in the years 1989–1994. Clin Physiol 1996;16: 507–19.PubMedCrossRefGoogle Scholar
  28. 28.
    Hansen HB, Henriksen JH. How well does journal “Impact” work in the assessment of Papers on clinical physiology and nuclear medicine? Clin Physiol 1997:17:409–18.PubMedCrossRefGoogle Scholar
  29. 29.
    Hecht F, Hecht BK, Sandberg AA. The journal “impact factor”: a misnamed, misleading, misused measure. Cancer Genet Cytogenet 1998;104: 77–81.PubMedCrossRefGoogle Scholar
  30. 30.
    Institute for Scientific Information, ed. Arts & Humanities Index A&HCI 1995. Science Citation Index SCI 1995. Social Science Citation Index SSCI 1995. Philadelphia: Institute for Scientific Information, 1996.Google Scholar
  31. 31.
    King JA. Review of bibliometric and other science indicators and their role in research evaluation. J Inform Sci 1987;13:261–76.CrossRefGoogle Scholar
  32. 32.
    Klingemann H-D. Zitierhäufigkeit als Qualitätsindikator — Eine Rangordnung der amerikanischen politikwissenschaftlichen Fachbereiche in den 80er Jahren. In: Daniel H-D, Fisch R, Hrsg. Evaluation von Forschung. Konstanz; Universitätsverlag Konstanz GmbH, 1988:201–14.Google Scholar
  33. 33.
    Lawani SM. Some bibliometric correlates of quality in scientific research. Scientometrics 1986;9:13–25.CrossRefGoogle Scholar
  34. 34.
    Lehrt S. Führende Forscher der deutschen Medizin: Biographisches, Leistungen, Zitationen und Ehrungen in 44 Disziplinen. In: Creutzfeldt W, Gerok W. Medizinische Publizistik — Probleme und Zukunft. Stuttgart: Thieme, 1997:108–17.Google Scholar
  35. 35.
    Lehrl S. Objektive Verfahren zur Messung und Prognose der Forschungsqualität in der Medizin. In: Frömmel C, Heβ D, Hrsg. Workshop Leistungsbewertung — Forschung. Förderung der Forschung an Medizinischen Fakultäten und Hochschulen. Berlin: Klarsicht Verlag, 1998:11–61.Google Scholar
  36. 36.
    Lehrl S. Zum Stellenwert der “Strahlentherapie und Onkologie” unter den wissenschaftlichen Zeitschriften im internationalen Vergleich — ein Situationsbericht anhand des Impact Faktors und Interventionsvorschläge. Interner Bericht: Abteilung für Medizinische Psychologie und Psychopathometrie der Universität Erlangen-Nürnberg, 1998.Google Scholar
  37. 37.
    Lehrl S, Gräβel E. Forschungsqualität deutscher Mediziner: Normen und Bewertungen. Nürnberg: Media Point, 1993.Google Scholar
  38. 38.
    Lienert GA. Testaufbau und Testanalyse, 3. Aufl. Weinheim: Beltz, 1969.Google Scholar
  39. 39.
    McDonough CC. The relative quality of economic journals revisited. Qly. Rev Econ Bus 1975;15:91–5.Google Scholar
  40. 40.
    Meenen NM. Der Impact-Faktor — ein zuverlässiger scientometrischer Parameter? Unfallchir 1997;23:128–34.CrossRefGoogle Scholar
  41. 41.
    Merton RK. The Matthew effect in science. Science 1969;159:56–63.CrossRefGoogle Scholar
  42. 42.
    Moravcsik MJ, Murugesan P. Some results on the function and quality of citations. Soc Stud Sci 1975;5:86–92.CrossRefGoogle Scholar
  43. 43.
    Nederhof AJ, Van Raan AFJ. Peer review and bibliometric indicators of scientific performance: a comparison of cum laude doctorates with ordinary doctorates in physics. Scientometrics 1987;11:333–50.CrossRefGoogle Scholar
  44. 44.
    Neuser J, Tewes U. Editorial. Zeitschr Med Psychol 1998;7:49.Google Scholar
  45. 45.
    Opthof T. Sense and nonsense about the impact factor. Cardiovasc Res 1997;33:1–7.PubMedCrossRefGoogle Scholar
  46. 46.
    Panicek DM, Schwartz LH, Dershaw DD, et al. Misrepresentation of publications by applicants for radiology fellowships: is it a problem? Am J Roentgenol 1998;170:577–81.Google Scholar
  47. 47.
    Pendlebury DA. Can we measure the UK’s research success? A Summary. Curr Cont 1992:4–9.Google Scholar
  48. 48.
    Plomp R. The highly cited papers of professors as an indicator of a research groups’s scientific performance. Scientometrics 1994;29:377–93.CrossRefGoogle Scholar
  49. 49.
    Reyes H. El “factor de impacto” y el impacto des las revistas medicas. Rev Med Chil (Chile) 1998;126:135–8.Google Scholar
  50. 50.
    Root LS. Faculty evaluation reliability of Peer assessments of research, teaching, and service. Res High Educ 1987;26:71–84.CrossRefGoogle Scholar
  51. 51.
    Sauer R. In eigener Sache. Der Impact-Factor. Strahlenther Onkol 1995; 171:487–9.PubMedGoogle Scholar
  52. 52.
    Seglen PO. From bad to worse: evaluation by Journal Impact. Trends Biochem Sci 1989;14:326–7.PubMedCrossRefGoogle Scholar
  53. 53.
    Seglen PO. Die Evaluierung von Wissenschaftlern anhand des “journalism act”. In: Weingart P, Sehringer S, Winterhager M, Hrsg. Indikatoren der Wissenschaft und Technik. Frankfurt: Campus, 1992:72–90.Google Scholar
  54. 54.
    Seglen PO. Causal relationship between article citedness and Journal Impact. J Am Soc Inform Sci 1994;45:1–11.CrossRefGoogle Scholar
  55. 55.
    Sen BK. Documentation note. Normalised impact factor. J Docum 1992; 48:318–25.CrossRefGoogle Scholar
  56. 56.
    Spala M. An international comparison of publications from the staff of the First Medical Faculty of Charles University using the Science Citation Index and the 1991–1994 faculty bibliography. Sb Lek (Czech Republ) 1996;97:511–9.Google Scholar
  57. 57.
    Stephan PE. The economics of science. J Econ Lit 1996:34:1199–1235.Google Scholar
  58. 58.
    van Raan AFJ, Hartmann D. The comparative impact of scientific publications and journals — methods of measurement and graphical display. Scientometrics 1987;11:325–31.CrossRefGoogle Scholar
  59. 59.
    Vijh AK. Spectrum of creative output of scientists: some psycho-social factors. La Physique en Canada/Physics in Canada 1987;43:9–13.Google Scholar
  60. 60.
    Weiβ V. Klassischer und probalistischer Mendelismus: Ein wissenschaftlicher Beitrag zur Latenz wissenschaftlicher Ideen. Biol Zentralbl 1982;101: 597–607.Google Scholar
  61. 61.
    Zuckerman H. Scientific elite. New York: Free Press, 1977.Google Scholar

Copyright information

© Urban & Vogel 1999

Authors and Affiliations

  • Siegfried Lehrl
    • 1
  1. 1.Abteilung für Medizinische Psychologie und Psychopathometrie der Universität Erlangen-NürnbergErlangen

Personalised recommendations