von Rafael Ball

1 Vorwort

Die Quantifizierung hat in nahezu alle Bereiche unserer Lebenswelt Einzug gehalten. Auch die Wissenschaft ist davon betroffen. Egal wie wir das Phänomen bewerten, und ob wir die Ökonomisierung als Folge der Quantifizierung eher kritisch sehen, wir können nicht umhin uns zumindest mit diesem Thema vertraut zu machen. Die Bewertung der Qualität des wissenschaftlichen Outputs ist dabei von großem Interesse bei der Begutachtung der Forschungsleistung einzelner Personen, Personengruppen, Institutionen, Regionen oder ganzer Länder. Die Bibliometrie hat hierzu in den letzten Jahrzehnten Indikatoren entwickelt, die bei der Bewertung des wissenschaftlichen Outputs und seiner Wahrnehmung unterstützen.

Die beste Form der Bewertung der Qualität wissenschaftlicher Publikationen ist allerdings zweifellos das Lesen und Durchdenken des Artikels. Doch nicht nur die Menge des menschlichen Wissens und die Anzahl der wissenschaftlichen Disziplinen ist in den letzten Jahrzehnten dramatisch angestiegen, sondern auch die Zahl der publizierten Veröffentlichungen in Wissenschaft und Forschung. So hat sich etwa die Zahl der Publikationen unter deutscher Beteiligung, die im Science Citation Index gelistet sind, von 1981 bis 2004 verdoppelt (Abbildung 1), die Zahl der internationalen Artikel von 1971 bis 2003 verdreifacht (Abbildung 2). Die Bewertung des wissenschaftlichen Outputs ist längst nicht mehr ein Qualitätsproblem sondern ein Massenproblem geworden. Entscheidungen in Wissenschaft und Forschung über Stellenbesetzungen, Berufungen und über die Vergabe von Mitteln werden - wie früher auch - nach der wissenschaftlichen Qualität der Bewerber oder der Arbeitsgruppen getroffen. In Folge der Masse entstand ein Bedarf bei allen an diesem Prozess beteiligten Personen nach einfach zu ermittelnden und möglichst objektiven Kriterien für die Qualitätsbewertung wissenschaftlicher Publikationen. Bibliometrische Analysen stellen solche Indikatoren in den verschiedensten Formen zur Verfügung. Sie dienen Entscheidungsträgern wie Wissenschaftspolitikern, Wissenschaftsmanagern und Wissenschaftlern selbst dazu, Entscheidungen über die wissenschaftliche Qualität auf der Basis von objektiven Parametern treffen zu können.

Dabei haben sich in den vergangenen Jahrzehnten verschiedene Wissenschaftsindikatoren herausgebildet. Diese Indikatoren, die im Überblick vorgestellt werden, haben Vor- und Nachteile, weil die Aussage jeweils immer nur einen besonderen Aspekt berücksichtigt. Nie allerdings ist der Wunsch nach einem einfachen, möglichst vom Wissenschaftler selbst zu erhebenden und dabei objektiven Indikator abgerissen. Der neueste Indikator ist der Hirsch-Faktor, der im Jahre 2005 von einem amerikanischen Physiker vorgestellt worden ist.¹

2 Einleitung

Bibliometrische Analysen sind keine Erfindung des 21. Jahrhunderts. Bereits 1917 haben Cole und Eales eine erste bibliometrische Untersuchung über die Literatur zur Anatomie im Zeitraum von 1550 bis 1860 durchgeführt und dabei ein schwankendes Interesse an der Anatomie anhand der Zahl der Publikationen zu diesem Thema nachgewiesen.² P. und E. M. Gross gingen 1927 über das Zählen der Publikationen hinaus.³ Sie waren die ersten, die eine Zitatanalyse durchgeführt haben. Dabei untersuchten sie die Fußnoten von Publikationen in der Chemie und leiteten aus der Zitatanalyse ab, welche chemischen Zeitschriften im gegebenen Zeitraum die relevantesten waren. Sie waren damit - weit vor Eugene Garfield, dem Begründer des Science Citation Index - die eigentlichen Erfinder eines Impaktfaktors für Zeitschriften. Zudem zeigen diese historischen Beispiele, dass Bibliometrie nicht gleichbedeutend ist mit der Auswertung der Datenbank "Science Citations Index" von Thomson Scientific (früher ISI, Institut for Scientific Information). Gleichwohl ermöglichen erst die massenhaft zur Verfügung stehenden digitalen Daten umfangreiche bibliometrische Analysen zu einem vertretbaren Aufwand.

Der Begriff Bibliometrie wurde 1969 von Alan Pritchard geprägt⁴, vor allem um den irreführenden Begriff "statistische Bibliographie", den E. W. Hulm bereits 1922 einführte, zu ersetzen. Pritchard bestimmte den Begriff als Anwendung mathematischer und statistischer Methoden auf Bücher und andere Medien der wissenschaftlichen Kommunikation ("...application of mathematical and statistical methods to books and other media of communication"). Narin und Moll griffen 1977 Prichards Bibliometrie-Definition auf und bestimmten sie als Quantifizierung von Prozessen geschriebener Kommunikation⁵. Diese Definition verleiht der Bibliometrie den Status eines Teilgebietes der Szientometrie, Informetrie und Webometrie.

Bibliometrische Analysen geben Auskunft über die Publikationsleistung (quantitativ), die Wahrnehmung und Wirkung von Publikationen in der Fachöffentlichkeit (qualitativ), die Integration in die Wissenschaftslandschaft und die internationale Sichtbarkeit von Personen oder Institutionen im Vergleich mit anderen (Ranking).

Die intensive Befassung mit bibliometrischen Daten und die Entstehung von Analysenmethoden begannen im nennenswerten Umfang in den 80er Jahren des 20. Jahrhunderts. Zunächst beschäftigen sich jedoch nur Mathematiker, Informationswissenschaftler und Soziologen mit mathematischen Modellen in der Bibliometrie. Seitdem war es um die Bibliometrie ruhiger geworden, bis Informations- und Bibliothekswissenschaftler die Bibliometrie am Ende der 90er Jahre vor dem Hintergrund einer veränderten Wissenschaftslandschaft wieder aufgriffen haben.

Als verwendetes Instrumentarium kommen die Zählung und die Analyse der verschiedenen Aspekte von Wissenschaftskommunikation in schriftlicher Form in Frage.

So lässt sich die Zahl der wissenschaftlichen Publikationen zählen, aber auch ihre Wahrnehmung in Form von Zitaten: Denn eine Arbeit, die oft zitiert wird, wird ganz offensichtlich besser und intensiver wahrgenommen als nicht zitierte Publikation. Diese übrigens sind gar nicht so selten. In den Naturwissenschaften etwa bleibt jeder fünfte Artikel unter deutscher Beteiligung selbst nach fünf Jahren unzitiert (Abbildung 3).

Völlig unklar hingegen ist die Frage, wer über die Kompetenz zur Durchführung bibliometrischer Analysen verfügt. Es gibt nur wenige auf Bibliometrie spezialisierte Fachleute, die einerseits mit dem nötigen Know-how der scientific communitiy ausgestattet sind und gleichzeitig mit der zur Verfügung stehenden Datenmenge sinnvoll umgehen können. Einige wenige sozial- und politikwissenschaftliche Institute versuchen sich an Bibliometrie, häufig jedoch nur auf der Metaebene, als Wissenschaft von der Bibliometrie.

Die Informationswissenschaftler selbst haben dieses Feld ebenfalls nicht aktiv besetzt, bestenfalls wissenschaftlich begleitet. So ist es keine Seltenheit, dass Assistenten und Sekretariate von Wissenschaftsmanagern mit derartigen Aufgaben betraut werden, womit sie natürlich genauso überfordert sind wie die Wissenschaftler selbst, die selten über das notwendige Know-how und die passenden Instrumente zur Durchführung einer bibliometrischen Analyse verfügen.

Recht spät haben Informationsspezialisten in Bibliotheken und Informationseinrichtungen dieses Geschäftsfeld aufgegriffen. Dabei stehen sie heute im Zentrum von gewaltigen Datenmengen aus der Wissenschaft. Sie sind als Informationsspezialisten grundsätzlich in der Lage, mit diesen Datenmengen umzugehen und aus ihnen fundierte, belastbare Informationen herauszukristallisieren.

3 Messung des Publikationsvolumens (Outputmessung)

Die Outputmessung bestimmt die Summe der wissenschaftlichen Veröffentlichungen von Einzelautoren, eines Autorenkollektivs, einer Arbeitsgruppe, eines Instituts, einer wissenschaftlichen Einrichtung, oder gar ganzer Länder oder Nationen. Für sich genommen bietet diese Zahl eine Quantität ohne rechte Aussage. Sie muss entweder als Ranking in einen Vergleich mit anderen gestellt oder mit qualitativen Aussagen ergänzt werden.

Zudem sagen Veröffentlichungszahlen allein recht wenig aus, wenn sie nicht in ein sinnvolles Bezugssystem gesetzt werden. Diesen Rahmen können Länder, Disziplinen, Institute oder auch Personen bilden.

Hat man einen Bezugsrahmen (oder ein Benchmark) gefunden, ist man in der Lage eine Aussage zu treffen, etwa zur Aktualität eines Themas oder der Produktivität einer Einrichtung.

Mögliche weitere Fragestellungen dabei sind: Wie viele Artikel wurden zu einem bestimmten Thema veröffentlicht? Wer hat wie viele Artikel veröffentlicht? Wie hat sich dieses Publikationsverhalten im Laufe der vergangenen Jahre geändert? Etc. etc.

4 Messung von Wahrnehmung und Wirkung (Resonanzmessung)

Ein Wissenschaftler veröffentlicht im Wesentlichen aus zwei Gründen: Zum einen, um den Erkenntnisfortschritt in seinem Fachgebiet voranzutreiben, zum anderen, um seine persönliche Reputation zu erhöhen.

Bei der Resonanzmessung wird entweder die Summe aller Zitationen ermittelt oder die Anzahl der Zitate pro Artikel gezählt (Zitationsrate), die wissenschaftliche Veröffentlichungen nach sich gezogen haben. Dabei gilt ein Beitrag umso wichtiger, je öfter er zitiert wird. Bei der Zitierrate ist die absolute Anzahl an Artikeln und Zitaten ohne Bedeutung, vorausgesetzt, dass ein Mindestmaß an Artikeln vorhanden ist. Wird aber ausschließlich die Zitierrate für die Wissenschaftsbewertung herangezogen, belohnt diese Zahl geringere Produktivität im Vergleich zu höherer Produktivität bei gleicher Zitierrate.

Seltener nimmt man die Summe aller Zitierungen, da hier durch "Ausreißer" nach oben die Zahl unverhältnismäßig stark beeinflusst wird und etwa erfahrungsgemäß hoch zitierte Review-Artikel stärker berücksichtigt werden als Originalarbeiten.

Es leuchtet ein, dass auch hier Vergleiche nur mit der gebotenen Vorsicht gemacht werden dürfen (siehe Standardisierung).

Die Zitierrate kann nahezu unbegrenzt mit andern Parametern in Beziehung gesetzt werden, um weitere mehr oder minder sinnvolle Aussagen treffen zu können. Ein bereits genutzter Benchmark ist die Zahl der "bedeutenden" Publikationen ("significant papers"), die definiert sind als die Anzahl der Veröffentlichung mit mehr als x Zitationen (mit x = 40 oder 50 oder eine andere, in der jeweiligen Disziplin als hohe Zitierrate anerkannte Zahl). Damit kann man einige Nachteile der oben beschriebenen bibliometrischen Indikatoren vermeiden, hat allerdings das Problem, dass die Grenzzahl der bedeutenden Publikationen zufällig ist und sehr vom Lebens- und Karrierealter des Wissenschaftlers abhängt.

Noch etwas fokussierter ist der Indikator "Gesamtzahl der Zitationen der x meist zitierten Artikel". Wiederum kann man einige Nachteile der o.g. Indikatoren vermeiden, allerdings ist die Gesamtzahl der Zitationen der x meist zitierten Artikel als Indikator weder leicht zu erheben noch eine eindeutige Zahl.

Für alle Indikatoren gilt die große Einschränkung, dass die unmittelbare Vergleichbarkeit zwischen Personen, Einrichtungen oder gar Disziplinen unscharf bis zufällig wird, wenn nicht Standardisierung und Normalisierung eingesetzt werden. Zudem muss klar sein, dass Zitationsanalysen nahezu ausschließlich auf der Basis der im Science Citation Index nachgewiesenen Quellen durchgeführt werden. Dass dort nur rund 8000 von weltweit 160.000 wissenschaftlichen Zeitschriften Berücksichtigung finden ist zwar einerseits ein Qualitätskriterium für die nachgewiesenen Zeitschriften, bedeutet gleichzeitig aber das Ignorieren von rund 95% des wissenschaftlichen Weltwissens. Dass es neben dem Science Citation Index noch die eine oder andere Datenbank mit bibliometrischen Tools gibt und wie diese zu bewerten sind haben wir an anderer Stelle beschrieben.⁶

5 Standardisierung und Normalisierung

Für die Naturwissenschaften bestehen bei der Datenauswahl eher geringe Probleme, da diese sehr international ausgerichtet sind: Naturwissenschaftliche Themen sind weltweit von Interesse, die Fragestellungen ähneln sich. Die Kommunikationssprache ist Englisch und der größte Anteil naturwissenschaftlicher Arbeiten erscheint in Form von Aufsätzen in Zeitschriften. Bücher spielen in den Naturwissenschaften nur eine untergeordnete Rolle. In den Naturwissenschaften herrschen weltweit sehr ähnliche Standards. Dies ist ein großer Vorteil, der auch internationale Vergleiche leichter macht.

In den Geistes- und Sozialwissenschaften ist die Situation hingegen eine andere: Viele Themen, Problemstellungen und Methoden sind nur von nationaler oder regionaler Bedeutung und oftmals in den jeweiligen Nationalsprachen veröffentlicht. Daraus entsteht ein Problem: Für internationale Journals ist das Interesse an derartigen Aufsätzen gering. So ist es beispielsweise schwierig, in internationalen sozialwissenschaftlichen Zeitschriften Beiträge unter deutscher Beteiligung zu platzieren. Für die Geistes- und Sozialwissenschaften sind damit internationale Rankings nur schwer durchzuführen. Hinzu kommt, dass Bücher und Konferenzbeiträge hier eine wesentlich größere Bedeutung spielen, diese aber in den Zitationsdatenbanken nicht vollständig erfasst sind.

Der Bibliometrie ist immer wieder vorgeworfen worden, sie handle unseriös. Dies liegt vor allem daran, dass sich undurchsichtige Methoden hinter einem Wust von statistischem Ballast verstecken und Methoden wie Ergebnisse nicht in einer allgemeinverständlichen Form präsentiert werden, sowie Vergleiche über Disziplingrenzen hinweg gemacht werden. Jedes Fachgebiet hat aber andere Kommunikationsgewohnheiten, die nicht direkt miteinander verglichen werden können. Sollen trotzdem unterschiedliche Disziplinen miteinander verglichen werden, ist eine Normalisierung notwendig. Dies ist eine Art Standardisierung, die für jedes Gebiet einen Faktor bildet, mit Hilfe dessen dann ein Vergleich möglich ist.

Auch ein direkter Vergleich von Wissenschaftlern als Personen ist sehr schwierig. Disziplinübergreifende Vergleiche sind ohne eine besondere Beachtung der unterschiedlichen Publikationsgewohnheiten grob fahrlässig.

Selbst Wissenschaftler aus einer identischen Disziplin können nicht direkt miteinander verglichen werden, da ein unterschiedliches Lebensalter oder eine unterschiedliche Position in einem Institut zu Verzerrungen führen. Ein Berufsanfänger kann beispielsweise nicht die Reputation haben, die ein etablierter Hochschullehrer vorweisen kann.

Hier setzt der Hirsch-Faktor an, der als neuer "Star-Indikator" nicht mehr vom bibliothekarischen Parkett wegzudenken ist.

6 Der Hirsch-Faktor (Hirsch-Index, h-index)

Wenn Bibliometrie bereits in den Wissenschaftsseiten der Tagespresse diskutiert wird, muss es sich um etwas Besonderes handeln. "Forscher, was ist dein Wert?" titelte unlängst die Frankfurter Allgemeine Sonntagszeitung⁷ und beschreibt auf zwei Seiten den neuen Impact-Indikator des amerikanischen Physikers J. E. Hirsch.

Tatsächlich kam vor gut einem Jahr der Beitrag des Physikers wie ein Paukenschlag über die szientometrische Gemeinschaft. In den Proceedings der National Academy of Science stellte er einen Indikator vor, der die Bewertung von einzelnen Wissenschaftlern einfach, fair und objektiv möglich machen soll.⁸

Zudem ist der Hirsch-Index einfach zu ermitteln. Mit einem Standardzugang zum Science Citation Index etwa über den Web of Science bestimmt man zunächst alle Publikationen eines Forschers und sortiert sie nach der abnehmenden Häufigkeit der Zitierungen. In zwei Spalten (siehe das Beispiel Abbildung 4) stellt man nun die laufende Publikationsnummer (Spalte 1) und die Zahl der Zitierungen (Spalte 2) gegenüber.

Der Hirsch-Index des Forschers ist nun diejenige Zahl, bei der die laufende Publikaktionsnummer mit der Zahl der Zitierungen übereinstimmt. Der Wissenschaftler hier im Beispiel hat den Hirsch-Faktor 10, wenn er mindestens 10 Veröffentlichungen hat, die eine Zitierhäufigkeit von 10 oder mehr aufweisen. Publikationen, die eine geringere Zitierhäufigkeit aufweisen als 10 spielen dann keine Rolle mehr. Das kann - positiv ausgelegt - bedeuten, dass weniger bedeutsame Veröffentlichungen den Hirschfaktor nicht mehr beeinflussen (weder nach oben noch nach unten) kann aber auch - kritisch gesehen - heißen, dass weitere, vielleicht gar nicht einmal schlechte Veröffentlichungen keine Berücksichtigung mehr finden.

Laufende Zahl der Publikationen (sortiert nach der Zitierhäufigkeit)	Zitierhäufigkeit
1	31
2	28
3	24
4	23
5	17
6	15
7	13
8	13
9	11
10	10
11	5
12	3
13	1
14	1
15	1
16	1
17	0
18	0
19	0
20	0

7 Vor- und Nachteile des Hirsch-Faktors

Praktisch alle bibliometrischen Indikatoren haben Vor- und Nachteile. Der Hirschfaktor minimiert aber einige Nachteile anderer bibliometrischer Parameter. So feierte "Nature" den H-Index als den Indikator, der den Journal Impakt Faktor endlich unberücksichtigt lasse.⁹ Zudem wird der Faktor in der Bibliometrieszene als sog. robuster Faktor gewertet, d.h. als Faktor, der gegen extreme "Ausreißer" der Publikationsaktivitäten nach oben und unten unempfindlich ist. Das bedeutet, dass einmalige oder kurzzeitige Abweichungen von der Publikationspraxis eines Autors ignoriert werden und sich die Bewertung auf das stabile Mittel konzentriert. Der Hirschfaktor in der oben beschriebenen Version wird beeinflusst durch die Publikationsrate, die Zitationsrate und die Länge der Karriere eines Autors.¹⁰ Dabei verläuft der Hirschfaktor in etwa proportional zur Dauer der Karriere. Das heißt der Hirschfaktor eines Wissenschaftlers mit fünf Berufsjahren kann nicht ohne weiteres verglichen werden mit dem eines langjährigen Lehrstuhlinhabers. In Annäherung berechnete Hirsch in seinem Beitrag eine Proportionalität des H-Index zur Karrieredauer und Publikationszahl eines Autors (h ~ mn)¹¹. Um seinen Hirschfaktor zu beeinflussen kann ein Forscher entweder mehr publizieren oder abwarten. Beides wird seinen Hirschfaktor erhöhen.

Für bekannte Physiker hat Hirsch H-Indices von 62 bis 107 berechnet. In den Lebenswissenschaften kommen berühmte Wissenschaftler auf einen h-index zwischen 120 und 191.

Allein hieran ist zu erkennen, dass sich auch der Hirsch-Faktor für einen direkten Vergleich über Disziplinengrenzen hinaus verbietet.

Schon gibt es bereits Versuche, den Hirsch-Index auf ganze Arbeitsgruppen oder noch größere Einheiten auszudehnen. Dazu hat van Ran 2006 eine Untersuchung durchgeführt, in dem er zeigt, dass für alle Forschungsgruppen aus dem Bereich der Chemie in den Niederlanden eine enge Korrelation zwischen der Zitationsrate und dem H-Index besteht, aber eine deutlich geringere Korrelation zwischen der Publikationszahl und dem H-Index¹². Er hält es daher nicht für sinnvoll, den H-Index auf Arbeitsgruppen oder Institutionen anzuwenden.

8 Ausblick

Bibliometrische Analysen werden sich in den kommenden Jahren als fester Bestandteil einer jeden wissenschaftlichen Bewertung und Bewerbung etablieren. Das wird sowohl die Bewertung (und Bewerbung) von Einzelleistungen von Personen betreffen (Lebenslauf, wissenschaftlicher Werdegang, Berufungen) als auch die Bewertung von Kollektivleistungen auf den verschiedensten Aggregationsstufen (wissenschaftliche Arbeitsgruppen, Institute, Lehrstühle, Zentren, Hochschulen und Forschungseinrichtungen, Forschungs- und Wissenschaftsgemeinschaften, aber auch Länder und Staaten). Dabei wird sich die eingesetzte Datenbasis kontinuierlich verbessern und erweitern. Neben die Datenbanken des ISI werden Produkte der Wettbewerber treten (z. B. der Verlag Elsevier mit "Scopus"), die jetzt schon beginnen, insbesondere die Nutzungsdaten der elektronischen Zeitschriften und ihrer Einzelartikel als wertvolle Meta-Informationen für das Wissenschaftscontrolling auf den Markt zu bringen.

Auch die Aussicht, mit Google-Scholar einen freien Zugang zu (ausgewählten) Zitationsdaten zu erhalten, ist positiv: Es würde endlich den erhofften Wettbewerb unter den Anbietern geben, der einige bisherige Mängel zu beseitigen verspricht. So etwa die Ungleichverteilung der wissenschaftlichen Journale nach Ländern im SCI oder die Intransparenz, die den Impaktfaktor des ISI noch immer umgibt. Es ist weiterhin davon auszugehen, dass es einen Know-how-Zuwachs bei der Anwendung und Methodik in der Bibliometrie geben wird. Zusammen mit der Nutzung einer erweiterten Datenbasis, können so immer bessere Analysen vorgelegt, aber auch neue, bisher nicht mögliche Aussagen getroffen werden. Zudem wird sich die Präzision der Aussagen erhöhen. Werden bibliometrische Analysen erst einmal als Selbstverständlichkeit in den wissenschaftlichen Alltag eingezogen sein, wird es keine begründeten Zweifel mehr an der Sinnhaftigkeit und dem Nutzen derartiger quantitativer Analysen mehr geben können - immer vorausgesetzt bibliometrische Analysen werden als transparentes Instrument mit nachvollziehbaren und interpretierbaren Ergebnissen eingesetzt und die prinzipiellen Grenzen der Aussagefähigkeit eines derartigen quantitativen Verfahrens berücksichtigt. Dann wird dieses Instrument des Wissenschaftscontrollings auch über jeden "konspirativen" Verdacht und Manipulationsgedanken erhaben sein.

Zum Autor

Dr. Rafael Ball ist Leiter der

Zentralbibliothek des Forschungszentrums Jülich GmbH
D-52425 Jülich
E-Mail: r.ball@fz-juelich.de

Anmerkungen

1. Hirsch, J. E. : An index to quantifiy an individual´s scientific research output. In: PNAS, November, 15, 2005, vol. 102, no. 46, S.16569-16572

2. Cole, F. J. & Eales, N. B. : The History of Comparative Anatomy. Part I: A Statistical Analysis of the Literature. In : Science Progress 11, 1917. S. 578-596

3. P. Gross, E. M. Gross, "College Libraries and Chemical Education", In: Science 66 (28. Oktober 1927),S. 385-389

4. Pritchard, A.: Statistical bibliography or bibliometrics? In: Journal of Documentation, 25 (4), 1969. S. 348-349

5. Narin, F., & Moll, J. K.: Bibliometrics. In: Annual Review of Information Science and Technology, 12, 1977. S. 35-58

6. Ball, R.; Tunger, D.: Science Indicators Revisited. Poster auf der "9th International Conference on Science & Technology Indicators, 07-09 September 2006, Leuven, Belgium. Katholike Universiteit, 2006

7. Kaube, Jürgen: Forscher, was ist Dein Wert? In: Frankfurter Allgemeine Sonntagszeitung, 1. Oktober 2006, Nr. 39

8. Hirsch, J. E. : An index to quantifiy an individual´s scientific research output. In: PNAS, November, 15, 2005, vol. 102, no. 46, S. 16569-16572

9. Rating games: Editorial. In: Nature 436, 2005. S. 889-890

10. Burell, Q.: Hirsch´s h-index: a preliminary stochastic model. In: 9^th International Conference on Science and Technology Indicators, 7.-9. September 2006, Leuven, Belgium, Book of abstracts, S. 26-28

11. Hirsch, J. E. : An index to quantifiy an individual´s scientific research output. In: PNAS, November, 15, 2005, vol. 102, no. 46, S. 16570

12. Van Raan, A.F.J.: Comparison of the Hirsch index with standard bibliometric indicators and with peer judgement for 147 chemistry research groups. 2005. http://www.cwts.nl/cwts/Hirsch.pdf