Advertisement

Leistungsbewertungen mit Hilfe von Wissenschaftsindikatoren

  • Stefan Hornbostel

Zusammenfassung

Unter Wissenschaftsindikatoren kann man zunächst einmal alle quantifizierenden Verfahren verstehen, die Voraussetzungen, Prozesse oder Ergebnisse des Wissenschaftshandelns in einem numerischen Relativ abbilden. Diese oder ähnlich unscharfe Begriffsbestimmungen stellen eher eine Heuristik als eine klare Definition dar. Der Grund für jene Vagheit ist ein doppelter: Einerseits handelt es sich bei den zu indizierenden Objekten selbst meist nur um unscharf bestimmte Konzepte (wie z.B. Fortschritt, Bedeutsamkeit, Nützlichkeit), andererseits ist auch der Verwendungszusammenhang solcher Indikatoren meist unbestimmt (er reicht vom Hilfsmittel in wissenschaftssoziologischer Forschung bis zur Information für politische Steuerung). Die nur vage Bestimmung von Wissenschaftsindikatoren schien geradezu notwendig zu sein: Science Indicators will be produced, compared, and consumed by groups and individuals having varied priorities, programs, and preoccupations and dealing with a plurality of sciences. A rigid definition or an unswerving goal would have no great value (…). Eclecticism is as necessary as it is useful to the measurer of scientific change (ELKANA u.a. 1978: 3).

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literatur

  1. 1.
    Beispielhaft für die praktische Nutzung der Cozitationsanalyse als Leistungsindikator in der Politikberatung: SCHWEIZERISCHER WISSENSCHAFTSRAT 1989: 117–130.Google Scholar
  2. 1.
    Ein bedeutsamer Artikel ist ein bedeutsamer Artikel, unabhängig davon, ob er tatsächlich rezipiert wird bzw. wird ein bedeutsamer Artikel unter idealen Bedingungen immer rezipiert, so jedenfalls die erste Definition von Martin/Irvine (Bedeutung unter idealen Kommunikationsbedingungen).Google Scholar
  3. 2.
    Auch wissenschaftlicher Fortschritt wird relativ definiert, nämlich abhängig von subjektiven Bewertungen: scientific progress, refers to the extent to which scientific activity actually results in substantive contributions to scientific knowledge (as judged by other scientists) (martin/irvine 1983: 65).Google Scholar
  4. 3.
    Unter idealen Kommunikationsbedingungen entspricht importance dem impact (vgl. ebd.).Google Scholar
  5. 1.
    Vgl. dazu Lakatos’ einschränkende Bemerkungen zur Prognostizierbarkeit der zukünftigen Entwicklung solcher Gebiete und Feyerabends Kritik am Konzept progressiver und degenerativer Forschungsprogramme in Kapitel 2.2.Google Scholar
  6. 1.
    Eine solche Grauzone ist z.B. die Patentierung von gentechnisch manipulierten Lebewesen. Hier sind insbesondere in den USA auch in der universitären Forschung ökonomische Kalküle und Grundlagenforschung extrem eng miteinander verflochten.Google Scholar
  7. 1.
    Es handelt sich um folgende Dimensionen: 1. zentrale Fragestellung, 2. wissenschaftstheoretische Voraussetzungen, 3. theoretische Ansätze, 4. vorrangige Untersuchungsprobleme, 5. anerkannte Techniken und Methoden, 6. aussichtsreiche Techniken und Methoden, 7. anerkannte Ergebnisse.Google Scholar
  8. 1.
    Die Reputation des Antragstellers wird hingegen wesentlich konsensualer beurteilt. Im Gutachterfragebogen der NSF ist ausdrücklich eine solche Bewertung vorgegeben, in der von Neidhardt vorgelegten Untersuchung wird in knapp der Hälfte aller Gutachten die Reputation bzw. Qualifikation des Antragstellers explizit angesprochen (neidhardt 1986b: 66). Sowohl in der NSF-Untersuchung (cole/rubin/cole 1978) wie auch in der DFG-Studie zeigte sich, daß die Gutachter auf dieser Urteilsdimension höhere Konsensusraten erzielten. Vergangene Leistungen scheinen in der Beurteilung unproblematischer zu sein. Dies ist auch plausibel, wenn man bedenkt, daß der Herstellung von Reputation eine breite Basis wissenschaftlicher Werturteile zugrunde liegt. Gutachter können sich in diesem Punkt auf eine erhebliche Menge schon vorliegender Entscheidungen der scientific community stützen. Voraussetzung ist allerdings, daß es sich bei dem Antragsteller nicht um einen Newcomer handelt, der am Beginn einer wissenschaftlichen Karriere steht und Reputation erst erwerben muß. Mit anderen Worten: Für die Beurteilung von Reputation steht häufig schon eine disziplinare Selbststilisierung zur Verfügung, an die angeschlossen werden kann.Google Scholar
  9. 1.
    Kritiker schielen einander über die Schulter, um eine gewisse Einheitlichkeit des Urteils zu wahren, heißt es bei hartmann 1991:144.Google Scholar
  10. 1.
    Wenn den Gutachtern Urteilskriterien und -kategorien vorgegeben werden, würde sich ein solches Verhalten als mangelhafte interne Konsistenz äußern, denn im Gesamturteil könnten andere Erwägungen (z.B. eine andere theoretische oder wissenschaftstheoretische Perspektive) berücksichtigt werden als bei der fachlichen (eigene Perspektive) Beurteilung auf einzelnen Items.Google Scholar
  11. 2.
    Auch die häufig bewußt gewählte Zusammensetzung des Gutachtergremiums aus Spezialisten und Generalisten zielt offenbar auf die Nutzung von “überfachlichen” Kompetenzen (vgl. DANIEL 1992: 17). Ebenso deutet Neidhardts (1986b: 100 ff) Charakterisierung kompetenter Gutachter mit den Begriffen Integrität und Souveränität auf fachliche Standards transzendierende Kompetenzen hin.Google Scholar
  12. 1.
    Die Bewertung von “quality” und “impact” wurde von den Begutachtern jeweils auf einer siebenstufigen Bewertungsskala vorgenommen (vgl. gottfredson 1978: 927).Google Scholar
  13. 1.
    64% der 1987 in der Bundesrepublik Deutschland existierenden 509 Wissenschaftspreise wurden im Zeitraum zwischen 1971 und 1987 erstmals vergeben, lediglich 6,3% der Preise wurde vor 1945 erstmals vergeben (krause 1988: 69).Google Scholar
  14. 2.
    Die französischen Akademien sind die Geburtsstätte der Wissenschaftspreise. Zur Entwicklung des Preissystems vgl. crosland/gÁlvez 1989.Google Scholar
  15. 1.
    Vgl. zur organisatorischen Gestaltung der Forschungsförderung in der Bundesrepublik: albers 1983.Google Scholar
  16. 1.
    Die Statistischen Ämter bemühen sich mit zunehmendem Erfolg um eine vollständige Erfassung der Drittmittel. Allerdings müssen solche Drittmittel unerfaßt bleiben, die nicht über die Hochschulhaushalte abgewickelt werden. Daher steht nach wie vor keine zuverlässige bundesweite Drittmittelstatistik zur Verfügung: Der Erfassungsgrad der Drittmittel hat sich zwar verbessert, eine annähernd vollständige Erfassung ist aber noch nicht gegeben (WISSENSCHAFTSRAT 1993b: 7).Google Scholar
  17. 1.
    Das Projekt wurde im Rahmen einer Förderung durch den Bundesminister für Bildung und Wissenschaft am Forschungsinstitut für Soziologie der Universität zu Köln unter Leitung von F. Neidhardt und H.-J. Block durchgeführt. Zu Einzelheiten vgl. Hornbostel (1990,1991a, 1991b, 1991c).Google Scholar
  18. 2.
    SCISEARCH ist eine on line-Version des Science Citation Index.Google Scholar
  19. 1.
    Es wurden hier nur Drittmittel von DFG, BMFT und VW-Stiftung berücksichtigt. Allerdings ändert die Einbeziehung weiterer Drittmittelgeber kaum etwas an der Orientierung auf einen Drittmittgeber. So ließ sich z.B. für Nordrhein-Westfalen (1982–86) feststellen, daß 54% aller Universitäten in der Fächergruppe Mathematik/Naturwissenschaften mehr als die Hälfte ihres Drittmittelaufkommens von nur einem Drittmittelgeber bezogen.Google Scholar
  20. 1.
    Mittlerweile ist es umorganisiert und umbenannt in University Funding Council (UFC). Zur Organisation und Bedeutung des UGC: hornbostel/oehler/teichler 1986; zur jüngeren britischen Hochschulpolitik und Forschungsförderung: Anderson 1989, colman u.a. 1995, zu den vom UGC benutzten Indikatoren: Jones/s IZER 1990 und sizer 1990.Google Scholar
  21. 1.
    Der priority score ergibt sich aus dem Mittelwert aller Gutachtervoten, denen eine Bewertungsskala von 1 bis 5 zugrunde liegt.Google Scholar
  22. 1.
    Einschließlich zurückgezogener Anträge. Betrachtet man nur das Normalverfahren, dann liegt die Ableh-nungsrate mit Werten zwischen 48% und 27% deutlich höher.Google Scholar
  23. 1.
    Allerdings ist auch die Bewilligung von Drittmittelprojekten — insbesondere von DFG-Projekten — durchaus reputationsförderlich.Google Scholar
  24. 1.
    Es handelt sich um die Kölner Zeitschrift für Soziologie und Sozialpsychologie und die Zeitschrift für Soziologie.Google Scholar
  25. 1.
    In beiden Fällen wurde anhand der institutionellen Adresse gesucht.Google Scholar
  26. 1.
    Der Eintrag beruht auf der Angabe des Autors in seinem Artikel. Nach wie vor erscheinen auch Artikel ohne eine solche Adressenangabe. Eine genaue Quantifizierung dieses Anteils, der von den Publikationsnormen der einzelnen Zeitschriften abhängt, ist jedoch nicht möglich (vgl. weingart/winterhager 1984: 131).Google Scholar
  27. 1.
    Für Deutschland, Großbritannien und Schweden lassen sich für das 19. Jhdt. jedoch nur wenige wissenschaftliche Artikel mit mehreren Autoren nachweisen (vgl. beaver/rosen 1978: 78).Google Scholar
  28. 1.
    Wissenschaftler, die zu Beginn ihrer Karriere in ein kooperatives Forschungsmilieu einsozialisiert wurden und ihre ersten Veröffentlichungen in Koautorschaft verfaßten, weisen auch im weiteren tendenziell höhere Produktivität und höhere Sichtbarkeit (Zitationen) auf (vgl. z.B.: beaver/rosen 1979a; ZUCKERMAN 1967; crane 1970, 1965). Auch neuere Untersuchungen bestätigen diesen Prozeß der Vorteilsakkumulation durch Kooperation (vgl. für die Soziologie: güdler 1994).Google Scholar
  29. 2.
    An article in a journai or book is given the value of 1, while a book receives 2–6 points according to the number of pages and type of book. (…) A report receives 1–6 points using the same criteria as for books. In cases where more than one author collaborates on an article or book the values are set according the following criteria: if there are two or three authors, each author receives half the number of points given for the publication; if there are more than three authors, each receives a third of this points (KYVIK 1989: 206).Google Scholar
  30. 1.
    Gross und Gross entwickelten bereits 1927 eine Zeitschriftenbewertung auf der Grundlage von Zitationszählungen.Google Scholar
  31. 1.
    Eine erste derartige Studie legten Cason und Lubotsky 1936 für Fachzeitschriften der Psychologie vor.Google Scholar
  32. 2.
    Bauin/Rothman gehen von einer Grenze von mindestens 100 Publikationen aus; Carpenter u.a. glauben, daß mindestens 30 bis 40 Publikationen vorhanden sein müssen. Tatsächlich dürfte es schwer fallen, eine allgemeingültige Grenze anzugeben, da, wie oben gezeigt, die Eignung von Impact- oder Influence-Gewichtungen nicht nur von der Samplegröße abhängt.Google Scholar
  33. 1.
    [I]mpcat’ denotes the actual importance of a paper as judged by the scientific community (DECKS/CHANG 1976:249).Google Scholar
  34. 2.
    Da es eine gewisse Zeit dauert, bis andere Wissenschaftler von einer Publikation Kenntnis nehmen, haben Diecks/Chang statt des Veröffentlichungsjahres das Jahr der ersten Zitation als Ausgangsbasis benutzt.Google Scholar
  35. 1.
    Man sollte sich dabei aber sowohl der Grenzen von Signifikanztests (vgl. kriz 1985) wie des Impact-Konzepts bewußt sein. Um ein Beispiel zu nennen: Die acht Nobelpreisgewinner des Jahres 1975 weisen, bis auf einen, sowohl hohe Publikationszahlen (zwischen 41 und 87 zitierte Artikel) als auch hohe Zitationszahlen (zwischen 94 und 385 Zitate) auf. Einer der Gewinner (J. Rainwater) jedoch kommt auf lediglich 7 zitierte Artikel mit einer Gesamtzahl von 8 Zitaten. Der Durchschnittswert für alle zitierten Wissenschaftler zu dieser Zeit (1974) lag bei 2 Publikationen und insgesamt 7 Zitaten. Gegenüber einer sehr großen Zahl anderer Wissenschaftler unterscheidet sich offenbar der Impact der Arbeiten von Rainwater nicht (vgl. lawani 1977).Google Scholar
  36. 1.
    So beziffert z.B. Winterhager (1994: 551) den “Verlust” an Publikation für die deutsche Soziologie bei Benutzung des Social Science Citation Index auf ca. 60%.Google Scholar
  37. 1.
    Dazu wurden Angaben aus dem Vademecum Deutscher Lehr- und Forschungsstätten. Stätten der Lehre. Teil 1. Wissenschaftliche Hochschulen. 8. Aufl., Stuttgart 1988 herangezogen. Die Angaben entsprechen allerdings nicht genau den Erhebungskategorien der amtlichen Statistik, und die fachliche Spezialisierung ist in vielen Fällen auch nicht angegeben. Es handelt sich also um grobe Schätzwerte.Google Scholar
  38. 1.
    Als Outputmessung wurde eine Zählung der Publikationen auf der Grundlage der Forschungsberichte der Universitäten benutzt, verbunden mit verschiedene Gewichtungen für Monographien, Zeitschriftenartikel, Beiträge in Sammelbänden und Herausgeberschaft (vgl. backes-GELLNER/sadowski 1988).Google Scholar
  39. 1.
    Small (1982) bezeichnet mit diesem Begriff alle Studien, die mit Hilfe einer Taxonomie oder eines Klassifikationsverfahrens das Zitat mit Hilfe des ihn umgebenden Textes näher qualifizieren.Google Scholar
  40. 2.
    Damit sind vor allen Dingen Referenzen gemeint, die sich auf mehrere Quellen beziehen. Moravcsik und Murugesan (1975: 90) halten solche Zitate für überflüssig: [F]rom a strictly point of view, reference to one single paper would be sufficient, and the multiple reference is made mainley to ‘keep everybody happy’ in the game of priority hunting. Google Scholar
  41. 3.
    Moravcsik/Murugesan (1975: 88) unterscheiden organic und perfunctory references. Während sie unter organic eine Referenz verstehen, die für das Verständnis des zitierenden Textes notwendig ist (truly needed), handelt es sich bei der Kategorie perfunctory um mainley an acknowledgement that some other work in the in the same general area has been performed. Google Scholar
  42. 1.
    Ein Beispiel dafür, was sich unter der Kategorie “persuasiveness” alles unterbringen läßt, präsentiert Brooks (1985: 228) selbst: Ein Historiker, der seine Zitationsmotive in den vorgegebenen Skalen nicht zutreffend beschrieben fand, versammelte seine Zitate historischer Quellen unter der Kategorie “persuasiveness”.Google Scholar
  43. 1.
    Überblick, Vollständigkeit/Benutzung der Argumente, Methoden, Messungen etc. der zitierten Arbeit/ Bestätigung der Resultate/Kritik der zitierten Arbeit/sonstiges.Google Scholar
  44. 2.
    Professionelle oder private Beziehung zum Autor vorhanden oder erwünscht/Erwartung oder Vergabe von Respekt/professionelle oder finanzielle Abhängigkeit/nicht notwendige Füllzitate/Publizität schaffen für einen eigenen oder fremden Artikel/zitierter Artikel in angesehener Zeitschrift/Ein Autor mit hoher Reputation/auch durch andere zitiert.Google Scholar
  45. 3.
    Das zugehörige Fragebogenitem lautet: The particular paper was cited in your paper because (…) in the introduction of your paper or later a review of literature is given due to ‘completeness’, preliminaries’ (VINKLER 1987: 54).Google Scholar

Copyright information

© Westdeutscher Verlag GmbH, Opladen 1997

Authors and Affiliations

  • Stefan Hornbostel

There are no affiliations available

Personalised recommendations