von Alice Keller

Gegenwärtige Situation (RAE 2008)

2008 ist in China das Jahr der Erd-Ratte: das Horoskop verspricht Erfolg in Beruf, Geld und Liebe. In Großbritannien ist es das Jahr des RAE: das Horoskop verspricht Geld für die Einen, Elend für die Andern. Im Dezember diesen Jahres werden nämlich die Resultate des Research Assessment Exercise (RAE) veröffentlicht. Diese Resultate sind entscheidend für die Zukunft vieler Forscherinnen und Forscher an den 128 Universitäten Großbritanniens.

Die Vorbereitungen für das diesjährige RAE begannen im Jahr 2005 mit der Festlegung der Beurteilungsgremien und genauen Messmethoden. Im Winter 2006-07 wurden die Hochschulen eingeladen, ihre Anmeldung vorzubereiten. Hierzu wurden Wissenschaftler aufgefordert, ihre vier besten Publikationen einzureichen. Die Eingabefrist lief bis 31. Dezember 2007, d.h. was bis dann nicht veröffentlicht worden war, durfte nicht mitgezählt werden.

Die Bedeutung des RAE darf nicht unterschätzt werden. Die im kommenden Dezember veröffentlichten Resultate sind ausschlaggebend für die Verteilung der staatlichen Forschungsfördermittel für die nächsten Jahre.¹ Wer schlecht abschneidet, muss sich mit hoher Wahrscheinlichkeit neu orientieren oder dem Lehrbetrieb widmen.

Die Bewertung wird von 67 fachlich ausgerichteten Gremien vorgenommen. Diese Decken sämtliche Fachgebiete von Afrikanistik bis Zoologie ab. Das derzeitige RAE basiert auf Peer-Review, d.h. die Bewertung wird von der Fachgemeinschaft vorgenommen.

Das Research Assessment Exercise wurde erstmals im Jahr 1986 eingeführt und seither fünfmal wiederholt: 1989, 1992, 1996, 2001 und 2008. Ziel des RAE ist eine selektive Förderung der Forschungsaktivitäten. Das System soll sicherstellen, dass trotz knappen Haushaltsmitteln im Hochschulbereich, gute Forschung belohnt und gefördert wird. Leistungsstarke Fakultäten sollen besser unterstützt werden, Hochschulen ohne vielversprechendes Forschungsprofil sollen sich hingegen auf den (billigeren) Lehrbetrieb konzentrieren.

Wie oben erwähnt, arbeitet das RAE mit Peer-Reviews, d.h. die Bewertung wird durch Fachkollegen vorgenommen. Bis 2001 war das alleinige Kriterium die Qualität von jeweils vier eingereichten Veröffentlichungen pro Wissenschaftler. Für 2008 fließen auch Faktoren für „Esteem“ (Reputation) und „Research Environment“ (Forschungskultur) in die Bewertung ein. Die Qualität von Publikationen bleibt allerdings weiterhin das ausschlaggebende Kriterium.

Da die Ergebnisse der jetzigen Runde noch nicht veröffentlicht worden sind, werde ich zur Besprechung der Resultate auf das RAE 2001 zurückgreifen. Hierzu wurden 2598 Eingaben von 173 Einrichtungen, mit Forschungsergebnisse von 50.000 Einzelpersonen bewertet. Als Resultate wurden Noten von 1 bis 5* vergeben. In 61 Einrichtungen hatten eine oder mehrere Forschungsabteilungen eine 5* erhalten (dies ist die beste Note); 96 Hochschulen hatten mit mindestens einer 5 abgeschnitten.²

Es erstaunt nicht, dass das RAE zu einer starken Konzentration der britischen Forschung an wenigen Hochschulstandorten geführt hat, hierzu gehören das Imperial College London, Cambridge, Oxford und University College London.

Ebenso wenig erstaunlich ist, dass das RAE in seiner heutigen Form stark umstritten ist. Kritisiert werden vor allem die Aspekte: mangelnde Transparenz, hohe Kosten, mangelnde Berücksichtigung bibliometrischer Indikatoren und Voreingenommenheit der Gremien.

Die Kosten sind beträchtlich: das RAE 1996 hatte zwischen 27 und 37 Millionen GBP gekostet. Allerdings repräsentiert das nur 0,8% der gesamten Finanzmittel, die danach durch das RAE verteilt werden. Spricht man allerdings mit Kollegen an der eigenen Universität, so stöhnen alle über den scheinbar endlosen Papier- und Datenkram, der mit dem RAE verbunden ist. (Ganz abgesehen vom Stress, Druck und gegenseitigen Wettbewerb, der durch das RAE erzeugt wird.)

Schwerwiegender ist allerdings die Kritik, dass die Beurteilung hauptsächlich auf Peer-Review basiert und dass quantitative Indikatoren nur sehr wenig Einfluss auf das Resultat haben. Obwohl inzwischen einige Messgrößen in die Bewertung eingehen (z.B. Einwerbung von Drittmittel, Zahl der aktiven Forscher), wurden bibliometrische Methoden bisher nicht berücksichtigt. Man erhofft sich, dass quantitative Methoden objektiver (und billiger) währen als das gegenwärtige Peer-Review System.

Pläne für die Zukunft (REF)

Sie fragen sich sicher, was dieses System mit Bibliotheken zu tun hat? Bisher sehr wenig, aber das könnte sich mit der nächsten Runde ändern!

Während sich die Gremien durch Berge von Informationen kämpfen, laufen Spekulationen über das nächste RAE heiß. Es soll nicht mehr Research Assessment Exercise, sondern Research Excellent Framework (REF) heißen. Allerdings ist noch unklar, wie dieses REF im Einzelnen funktionieren soll.

Im November 2007 wurde HEFCE (Higher Education Funding Council for England) vom Parlament aufgefordert, einen entsprechenden Vorschlag zu erarbeiten.³ Dieses neue Rahmenprogramm sollte insbesondere quantitative Informationen besser berücksichtigen und sukzessive in den Jahren 2010 bis 2014 eingeführt werden. In ihrem Bericht schlägt HEFCE vor, dass die Naturwissenschaften, Technik und Medizin (STM) anders behandelt werden sollen als die Geistes- und Sozialwissenschaften. In den STM Fächern sollen bibliometrische Methoden die wesentliche Beurteilungsgrundlage bieten; für die restlichen Fächer empfiehlt HEFCE „a new light touch peer review“, ohne genauer zu spezifizieren, wie das aussehen könnte.

Bei den bibliometrischen Methoden stehen Zitationsanalysen im Vordergrund. Diese sollen als Indikatoren für die Forschungsqualität dienen. So viel steht fest; alles Weitere steht allerdings noch offen: Welche Wissenschaftler, welche Arbeiten und welche Zeitspanne sollen bewertet werden? Was passiert, wenn ein Wissenschaftler seine Universität wechselt? Wie passen interdisziplinäre Forschungsarbeiten in das Konzept?

Für die Zitationsanalyse soll die Datenbank Thomson Scientific Web of Science (WoS) – evtl. auch Elsevier Scopus – herangezogen werden. Gleichzeitig ist man sich bewusst, dass diese Systeme Fehler und Mängel aufweisen und für gewisse Fächer nicht geeignet sind.⁴ Nach Diskussion dieser Defizite zieht HEFCE den Schluss, dass die Hochschulen schlussendlich selber verantwortlich sein müssen für die Bereitstellung von vollständigen, bereinigten und korrekten Publikationsdaten.

Rolle der Bibliotheken im REF

Und nun kommen endlich Bibliotheken ins Spiel! Die Bibliotheken beraten nämlich, wie ihre Dokumentenserver zukünftig das REF unterstützen könnten. Die Hoffnung ist natürlich, dass Dokumentenserver, die vielerorts ein armseliges Mauerblümchendasein fristen, eng in den Zyklus eingebunden und damit für die Universität unentbehrlich gemacht werden könnten.

Im Gespräch mit Sally Rumsey, Leiterin des Oxford University Research Archives (ORA), wurde mir erklärt, wie Dokumentenserver ein wichtiges Standbein im REF Prozess darstellen könnten.

Sally Rumsey geht davon aus, dass ein Dokumentenserver das REF in verschiedener Weise unterstützen könnte:

• Publikationsdatenbank für die Universität. Einige Universitäten Großbritanniens streben an, dass sämtliche Publikationen von Hochschulangehörigen auf dem Dokumentenserver nachgewiesen werden. Hiermit werden oft Publikationsdatenbank und Dokumentenserver parallel geschaltet. Diese Praxis schafft natürlich eine ausgezeichnete Basis für zukünftige bibliometrische Analysen. Beispiele: Imperial College London und London School of Economics and Political Science (LSE). Sally Rumsey sieht allerdings ein, dass die Registrierung sämtlicher Forschungsarbeiten auf einem konventionellen Dokumentenserver nicht realistisch ist: die Hürden und der Zeitaufwand sind einfach zu groß. Stattdessen werden nun neue Systeme und Technologien entwickelt, deren Ziel es ist, in diese Lücke zu springen, um Daten zu sammeln und aufzubereiten.⁵ Vorstellbar ist, dass diese bereinigten Daten dann in einen Dokumentenserver überführt werden könnten.

• Bereitstellung der selektierten, zu bewertenden Publikationen (evtl. nicht Open Access, sondern nur zugänglich für die Beurteilungsgremien). Für die Wissenschaftler würde also eine Pflicht bestehen, ausgewählte Publikationen auf dem Dokumentenserver zur Verfügung zu stellen. Beispiel: Universität Southampton (http://eprints.soton.ac.uk/). (Notiz der Autorin: Sicher nützlich, aber nicht grad revolutionär.)

• Steigerung der Zitationshäufigkeit. Es ist bekannt, dass Materialien, die Open Access angeboten werden, häufiger zitiert werden. Wenn Autoren also Artikel gleichzeitig auf einem Dokumentenserver platzieren und in einer Zeitschrift veröffentlichen, kann die Wahrscheinlichkeit, dass der Artikel zitiert wird, erhöht werden. Ein willkommener Lockruf, wenn man bedenkt, dass die Zitationshäufigkeit ausschlaggebend ist für die zukünftige Forschungsförderung. Sally Rumsey stellt sich vor, dass ein Leser die Open Access Version zuerst findet, und dann die „offizielle“ Zeitschriftenversion zitiert. Entsprechend wichtig ist die Angabe der „Official URL“ auf dem Dokumentenserver.

Etwas komplexer ist die Überlegung, dass ein Dokumentenserver Teil eines integrierten Informationssystems sein könnte, das sämtliche Daten für das REF umfasst. Sally Rumsey stellt sich ein komplexes „Oxford Research Information System“ vor, das Verbindungen zwischen Personendaten (Wissenschaftler), Forschungs-Output (Dokumentenserver) und Forschungsprojekten schafft. Vorteilhaft wäre, dass diese Daten nur einmal als Objekte erfasst würden, und danach mehrfach – je nach Bedarf – flexibel genutzt werden könnten.

In seinem Aufsatz, „Institutional repositories and research assessment“ (2004?) schlug Michael Day vor, dass ein Dokumentenserver auch für die Zitationsanalyse direkt genutzt werden kann. Allerdings merke ich, dass diese Vorstellung heute nicht mehr vorherrschend ist. Für die Zitationshäufigkeiten sind mit grösster Wahrscheinlich die „offiziellen“ Zeitschriftenversionen von Bedeutung, also nicht die Pre- or Post-Prints auf dem Dokumentenserver. Auch seine Vorstellung, dass die Zugriffshäufigkeit auf den Dokumentenserver für das REF maßgeblich sein könnten, scheint nicht wahrscheinlich.

Zusammenfassung

In der nächsten Runde der Forschungsevaluation in Großbritannien (REF) sollen bibliometrische Methoden – zumindest in den Naturwissenschaften, Technik und Medizin – maßgeblich in die Beurteilung einfließen. Die Bibliotheken diskutieren derzeit, wie ihre Dokumentenserver in diese Übung eingebunden werden könnten. Drei Ansätze scheinen denkbar und sinnvoll:

• Der Dokumentenserver kann als Publikationsdatenbank für die Hochschule dienen.

• Der Dokumentenserver kann als Ablageort und Liefersystem für ausgewählte, zu bewertende Publikationen dienen.

• Das Veröffentlichen einer Forschungsarbeit in einem Dokumentenserver – zusätzlich zur offiziellen Version in einer Zeitschrift – kann zur Erhöhung der „Sichtbarkeit“ und damit zu einer erwünschten Steigerung der Zitationshäufigkeit führen.

Für die Bibliotheken wäre es natürlich wünschenswert, wenn die Dokumentenserver eine Kernfunktion im geplanten Research Excellent Framework (REF) einnehmen könnten. Hiermit könnte sichergestellt werden, dass Dokumentenserver landesweit aus ihrem zeitlich befristeten Projektdasein in den essentiellen Infrastrukturbereich der Universität übergeführt werden könnten. Man darf hierbei nicht vergessen, dass die britischen Doktoranden und Hochschulen derzeit noch sehr zurückhaltend sind bei der Veröffentlichung ihrer Dissertationen auf dem hochschuleigenen Dokumentenserver. Somit fehlt in England das „billige Dokumentenserver-Futter“ der deutschsprachigen Länder.

Werden die Dokumentenserver also essentieller Bestandteil des zukünftigen REF sein? Diese Antwort hängt vermutlich davon ab, ob die Dokumentenserver ausreichend flexibel und leistungsfähig sein werden, um am Tag X innerhalb kurzer Zeit, die gewünschten Daten für das REF bereitzustellen. Und das Problem ist natürlich, dass niemand genau weis, was die gewünschten Daten sein werden!

Literatur

Orr, Dominic: Forschungsförderung auf englische Art. Fast 20 Jahre Research Assessment Exercise. Aus: Forschung & Lehre, Oktober 2005.
http://www.academics.de/wissenschaft/forschungsfoerderung_auf_englische_art_10926.html

Day, Michael: Institutional repositories and research assessment, 2004(?).
http://eprints-uk.rdn.ac.uk/project/docs/studies/rae/rae-study.pdf

Weitere Angaben zum RAE und REF siehe:
http://www.rae.ac.uk/ und http://www.hero.ac.uk/

Anmerkungen

1. Die Haushaltsmittel der Research Councils betragen 2,8 Milliarden GBP (2007-08).

2. Die Resultate werden im Internet veröffentlicht: http://www.hero.ac.uk/rae/Pubs/4_01/section1.htm

3. Research Excellence Framework: Consultation on the assessment and funding of higher education research post-2008, November 2007. http://www.hefce.ac.uk/pubs/hefce/2007/07_34/

4. WoS sei nicht geeignet für Computerwissenschaften, Ingenieurwesen und Gesundheitswesen.

5. Ein Beispiel eines solches Systems ist Symplectic Publications Management System (http://www.symplectic.co.uk/). Das System wurde von Mitarbeitern des Imperial College London gegründet und im RAE 2008 eingesetzt. Jetzt bietet eine Spin-Off Firma anderen Universitäten Unterstützung an beim Sammeln und Aufbereiten von Publikationsdaten.

Autorin

Dr. Alice Keller

Assistant Director, Collections & Resource Description

Bodleian Library
Broad Street
Oxford OX1 3BG, England
alice.keller@ouls.ox.ac.uk