Niederländische Universitätsbibliotheken
und Benchmarking

Von Henk Voorbij

1. Hintergrund

Zielsetzung des Benchmarking-Projektes ist es, zu einer Auswahl von Leistungsindikatoren zu gelangen, anhand derer die dreizehn niederländischen Universitätsbibliotheken ihre Arbeit untereinander vergleichen können. Schon früher erhoben diese Bibliotheken statistische Daten auf der Grundlage eines gemeinsamen Fragebogens. Es besteht allerdings ein wichtiger Unterschied zwischen Statistiken und Benchmarking. Der Begriff "Benchmarking" verweist auf eine pragmatischere Vorgehensweise. Letztlich werden nur solche Daten erhoben, die Bibliotheken in die Lage versetzen, ihre eigene Arbeit zu verbessern. Ein gegenseitiger Vergleich kann zeigen, welche Bibliothek als Vorbild für weniger leistungsfähige Bibliotheken dienen kann.

Das Projekt begann am 1. Januar 1998 und hat eine Laufzeit von zwei Jahren. Zu Anfang wurden Literaturrecherchen nach verfügbaren Übersichten von Leistungsindikatoren sowie nach Qualitätsmanagements-Modellen durchgeführt. Auf dieser Grundlage ist eine erste Auswahl von Leistungsindikatoren getroffen worden. Ein Kriterium für diese Auswahl von Leistungsindikatoren war ihre Bedeutung für das Management. Ein zweites Kriterium war, daß die Erhebung der benötigten Daten praktisch durchführbar und nicht allzu zeitaufwendig sein sollte. Einige Beispiele von Indikatoren, die diese Bedingungen nicht erfüllen und folglich von vornherein außer acht gelassen wurden:

• Der Bestandsumfang

• Die Zahl der am Auskunftsschalter gestellten Fragen

• Die Präsenznutzung von Büchern und Zeitschriften

1. Erste Auswahl der Indikatoren

Schließlich wurde eine Liste von 36 Indikatoren erstellt, von denen die meisten noch weiter unterteilt sind. Die Indikatoren gliedern sich in vier Gruppen: Finanz- und Personalmittel, das Dienstleistungsangebot, interne Betriebsabläufe und die Nutzung verschiedener Einrichtungen. Tabelle 1 gibt eine Übersicht. Einzelne Indikatoren werden nachfolgend näher erläutert.

1. Finanzielle Mittel
2. *A6 Ausgaben elektronische Ressourcen / Gesamtausgaben Bestandsaufbau. Dieser Indikator hat keine Beziehung zu einer Leistung (performance), ist aber von Bedeutung, um Trends über Jahre hinweg verfolgen zu können. Er gibt an, inwieweit sich die Bibliothek zur elektronischen Bibliothek entwickelt. Um der Vergleichbarkeit willen werden getrennte Indikatoren berechnet für Geistes- , Sozial-, Naturwissenschaften und Medizin.

   *A7 Personaleinsatz nach drei Kategorien: Dokumentbearbeitung, Benutzungsbereiche, Management und Hintergrunddienste. Auch dieser Indikator verweist nicht auf eine Leistung, liefert aber wichtige Managementinformation. Im Idealfall sollte der Prozentsatz für Management und Hintergrunddienste so niedrig wie möglich sein.

3. Ausstattung
4. *B1 - B3 Diese Indikatoren geben an, wieviel Geld im vergangen Jahr für Bestandsaufbau ausgegeben wurde, wieviele Bücher erworben und wieviele laufende Zeitschriften gehalten wurden. Um diese Daten vergleichbar zu machen, werden sie in Relation gesetzt zum Umfang der Zielgruppe. Man hat sich entschieden, von der Gesamtzahl der Vollzeitstellen des wissenschaftlichen Personals der Universität auszugehen. Alternativen wären gewesen: die Zahl der Studenten, die Zahl der wissenschaftlichen Mitarbeiter (Personen anstelle von Stellen), die Zahl der Mitarbeiter (neben den wissenschaftlichen Mitarbeitern auch das administrative und technische Personal der Universität). Welche Wahl man auch trifft, keine ist wirklich befriedigend. Eine Universität, die fünfmal so viele Mitarbeiter hat wie eine andere Universität, benötigt nicht einen fünfmal so hohen Zugang oder fünfmal so viele laufende Zeitschriften. Die Beziehung zwischen der Größe der Universität und der benötigten Höhe des jährlichen Zugangs ist nicht eine lineare, sondern eine logarithmische. Dabei muß die Art der abzudeckenden Fächer ebenso berücksichtigt werden wie die Existenz nahegelegener alternativer Einrichtungen und ähnliches. Zwar ist für die Vergleichbarkeit die Zahl des jährlichen Zugangs pro Kopf ein besserer Indikator als die absolute Zahl des Zuwachses, aber auch dieser Indikator greift zu kurz.
5. Effizienz

*C1 und C2 Sie vermitteln einen Eindruck von der Effizienz der Buchbearbeitung. C1 setzt der Zahl bearbeiteter Bücher die Gesamtzahl der dem Bereich der

Buchbearbeitung zuzuordnenden Stellen gegenüber. Dieser umfaßt auch Erwerbung, Katalogisierung und Sacherschließung. C2 greift davon einen Teilaspekt heraus. Die Zahl der bearbeiteten Bücher wird dabei in Relation gesetzt zur Anzahl der Stellen in der Katalogisierung. Dem Indikator C1 gebührt der Vorzug vor C2. Die Abgrenzung der Tätigkeiten, die der Katalogisierung zugerechnet werden, kann von Bibliothek zu Bibliothek unterschiedlich sein. Bei einer Bibliothek sind beispielsweise Erwerbung und Titelaufnahme stärker integriert als bei einer anderen. Dies wirkt sich negativ auf die gegenseitige Vergleichbarkeit aus. Indem man von der gesamten Buchbearbeitung ausgeht, geht man dieser Art von Problemen aus dem Weg.

*C4 Er zielt ab auf die Durchlaufzeit der Buchbearbeitung. Wieviele Kalendertage dauert der Zeitraum vom Erhalt des Buches durch die Bibliothek bis zu seiner Verfügbarkeit für den Benutzer? Im Idealfall würde man wissen wollen, wieviel Zeit zwischen dem Erscheinen eines Buches und der Verfügbarkeit für den Benutzer verstreicht, aber das Erscheinungsdatum von Büchern ist schwer in Erfahrung zu bringen. Die Durchlaufzeit wird in drei Stufen gemessen: die Zahl der Tage, die benötigt werden, um 50%, 80% und 90% der Bücher zu bearbeiten. Theoretisch kann eine schnelle durchschnittliche Buchdurchlaufzeit (50%) einhergehen mit einer langsamen Durchlaufzeit für einen größeren Anteil (80 und 90%).

*D1 Anzahl der Ausleihen des vergangenen Jahres / Zahl des Zugangs der vergangenen fünf Jahre. Dieser Indikator spricht nicht auf den ersten Blick an. Beabsichtigt ist, eine Übersicht über die Nutzung des Bestandes zu erhalten. In der Literatur trifft man gewöhnlich auf zwei Alternativen:

Die durchschnittliche Ausleihhäufigkeit pro Band im Bestand. Dieser Indikator ist vergleichsweise einfach zu berechnen (Anzahl der Ausleihen des abgelaufenen Jahres / Gesamtzahl der Bände im Bestand), aber wenig sinnvoll. Resultate der Universitätsbibliotheken sind immer niedrig, da ihre Bestände große Mengen alten Materials umfassen.

Die durchschnittliche Ausleihhäufigkeit der neueren Zugänge. Dies ist ein viel interessanteres Kriterium für die Nutzung, aber schwierig zu messen. Bei den meisten Ausleihsystemen ist eine Beschränkung auf die neueren Zugänge nicht möglich und folglich auch nicht feststellbar, inwieweit diese Titel im vergangenen Jahr ausgeliehen waren.

In Ermangelung eines Besseren hat man sich für das Verhältnis "Ausleihen im vergangenen Jahr / Zugang in den vergangenen fünf Jahren" entschieden. In aller Deutlichkeit: das Ergebnis betrifft nicht die Zahl der Ausleihen von neueren Zugängen, sondern ist ein reiner Verhältniswert. Im vergangen Jahr können schließlich auch Bücher ausgeliehen worden sein, die sich schon länger als fünf Jahre im Besitz der Bibliothek befinden, auch wenn zu erwarten ist, daß dies bei vielen Bibliotheken eine Minderheit darstellt.

Ein niedriges Resultat kann auf eine ungenügende Nutzung des Bestandes hinweisen und Anlaß für eine Anpassung der Erwerbungspolitik sein.

*D2 und D3 Durchschnittliche Anzahl Ausleihen neuerer Zugänge, Anteil nie ausgeliehener neuerer Zugänge. Anders als bei D1 geht es hier sehr wohl um Ausleihen von neueren Zugängen. Da ein automatisches Abrufen dieser Daten nicht möglich ist, muß eine Stichprobe genommen werden. Diese Stichprobe besteht aus (am besten 400) Titeln, die in den vergangen drei Jahren erworben wurden und vor drei, vier oder fünf Jahren erschienen sind. Dies sind sämtlich neuere Titel, die inzwischen drei Jahre lang die Chance hatten, ausgeliehen zu werden. Für jeden einzelnen Titel muß manuell die Zahl der Ausleihen ermittelt werden. Aufgrund dieser Daten können problemlos die durchschnittliche Zahl der Ausleihen pro Titel und der Anteil niemals ausgeliehener Titel ermittelt werden. Zur besseren Vergleichbarkeit wird diese Methode auf alle vier Fachgruppen angewendet (Geistes- , Sozial-, Naturwissenschaften und Medizin).

*D6 und D7 Diese Indikatoren geben Auskunft über das Maß, in dem der eigene Bestand den Bedürfnissen der Zielgruppe entspricht. Für D6 wird die Zahl der nehmenden Fernleihanfragen der Anzahl der Ausleihen aus dem eigenen Bestand gegenübergestellt. Eine Bibliothek, die 1.000 Fernleihanfragen stellt und 19.000 Bücher aus dem eigenen Bestand ausleiht, erzielt demnach ein Resultat von 1.000 / (1.000 + 19.000) = 5%. Je niedriger das Resultat, desto "autarker" der eigene Bestand. D7 ist das Äquivalent für Zeitschriften. Da die Nutzung von Zeitschriften schwer meßbar ist, wird von der Zahl der Abonnements ausgegangen. Diese wird anschließend der Anzahl der bei anderen Bibliotheken angefragten Zeitschriftenartikel gegenübergestellt.

1. Instrumente für den ersten Test

Sechs Universitätsbibliotheken sind eng mit dem Projekt verbunden. Sie fungieren als Testbibliotheken. Eine erster Test hat im Herbst 1998 stattgefunden. Für diesen Test hat man folgende drei Hilfsmittel angefertigt:

1. Erhebungsformular

Die Bibliotheken konnten in dieses Formular die benötigten Daten eintragen. Die meisten Indikatoren bestehen aus zwei Teilen, häufig ein Zähler und ein Nenner. Die Zahl der Datenelemente ist demnach größer als die Zahl der Indikatoren. Die Grunddaten sind in fünf Hauptgruppen unterteilt.

1. Daten über die Universität (Etat, Zahl der Studenten und Mitarbeiter)
2. Finanzen der Bibliothek (Etat, Ausgaben)
3. Personal der Bibliothek (Zahl der Stellen)
4. Bestand (Erwerbungen, laufende Zeitschriften, elektronische Ressourcen)
5. Dienstleistungsangebot (Ausleihe, Fernleihe, Schulung, Raumnutzung, Nutzung von Volltextressourcen)

Beim Ausfüllen sollte man auch angeben, auf welche Standorte der Bibliothek sich die Daten beziehen:

1. (fast) alle Standorte
2. die Zentralbibliothek und einzelne andere Standorte
3. nur die Zentralbibliothek

Die Daten sollten tunlichst auf die erste Alternative bezogen sein: (fast) alle Standorte. Erfahrungen aus der Vergangenheit ließen allerdings erkennen, daß nicht alle Bibliotheken über Daten des gesamten Bibliothekssystems verfügen. Einige Fakultätsbibliotheken verfügen über eigene Mittel für den Bestandsaufbau, in die man seitens der Zentralbibliothek nicht immer Einsicht hat.

1. Gebrauchsanleitung

Eine umfassende Gebrauchsanleitung für die Erhebung der einzelnen Datenelemente wurde erstellt. Dieses Handbuch hat zum Ziel, die Einheitlichkeit zu fördern. Hier ein willkürliches Beispiel für Fragen, auf die die Anleitung eine Antwort zu geben versucht:

• Was versteht man unter Zeitschriften? Sind Serien, Loseblattausgaben und Fortsetzungswerke ein- oder ausgeschlossen?
• Was versteht man unter einer Ausleihe? Sind Verlängerungen oder Fernleihen ein- oder ausgeschlossen?
• Welche Personalkategorien sind der Dokumentbearbeitung, dem Benutzungsbereich und dem Management zugeordnet? Gehören Abteilungsleiter zum Management oder nicht?
• Wie berechnet man den Buchzugang? Nach Titeln, Bänden oder noch anderen Kriterien?
• Was versteht man unter der Zahl der Schulungsstunden? Zählen dazu Führungen oder Vorbereitungsstunden für Schulungsangebote?

1. Kommentarformular

Auf diesem Formular konnten Bibliotheken ihre Erfahrungen bei der Datenerhebung wiedergeben:

• Die zur Datenerhebung verwendeten Quellen
• Die bei der Datenerhebung zu Tage getretenen Probleme
• Eventuelle Annahmen für die Fälle, in denen Schätzungen notwendig waren
• Der für die Datenerhebung erbrachte Arbeitsaufwand
• Änderungsvorschläge für die Definition von Daten oder die Art und Weise ihrer Erhebung
• Zufällige Faktoren, die das Ergebnis beeinflußt haben
• Strukturelle Faktoren, die das Ergebnis beeinflußt haben

Die erstgenannten Aspekte sind besonders wichtig für die Testperiode. Die letzten beiden Gesichtspunkte werden auch noch darüber hinaus beibehalten werden.

1. Resultate des ersten Tests

Eine Analyse der Testergebnisse ergab, daß längst nicht alle Daten problemlos zu erheben waren oder auf dieselbe Weise gemessen wurden. Einige Beispiele:

• Betriebskosten für das Gebäude. Die Bibliotheken gaben sehr stark variierende Beträge an. War bei einer Bibliothek der genaue Betrag pro Quadratmeter bekannt, wußten andere Bibliotheken gar keine Daten anzugeben, da letztlich die Universität für die Betriebskosten aufkommt. Dadurch ist auch der Indikator A4, der sich auf die Verteilung der Ausgaben bezieht, äußerst unzuverlässig. Es wurde beschlossen, die Betriebskosten außer acht zu lassen. Was übrig bleibt, sind nicht die Gesamtausgaben, sondern eine Teilmenge, die vergleichbar ist.
• Bei einigen Bibliotheken gibt es unerklärlich große Unterschiede zwischen verfügbarem Etat und Ausgaben.
• Es ist nicht immer leicht, einen Unterschied auszumachen zwischen Buchzugang und der Anzahl der bearbeiteten Bücher. Einige Bibliotheken gaben zweimal dieselbe Zahl an, bei einer Bibliothek war zwischen beiden Zahlen ein enormer Unterschied.
• Es ist nicht möglich, die Erwerbungen nach Fächern aufzuteilen. In den Niederlanden sollte das grundsätzlich möglich sein, da die meisten Bibliotheken seit 1990 ein einheitliches Sacherschließungssystem verwenden. Das Problem besteht darin, daß die Zählungen auf der Grundlage des Erwerbungssystems erfolgen. Dieses umfaßt lediglich kurze Bestelltitel, denen kein Fächerschlüssel zugeordnet ist (zumindest nicht im Rahmen des landesweiten Sacherschließungssystems, wenn auch bisweilen lokale Abrechnungskodierungen). Der vollständige Titel, einschließlich des Fächerschlüssels, befindet sich im Katalogisierungssystem. Beide Systeme sind zwar gekoppelt, aber es ist dennoch unmöglich, die gewünschten Zählungen durchzuführen. Diese Beispiel ist symptomatisch für viele automatisierte Bibliothekssysteme. Sie sind für die Betriebsführung gedacht, aber es ist sehr schwierig, ihnen Managementinformation zu entnehmen, obwohl sie alle dafür notwendigen Daten beinhalten.
• Eine arge Enttäuschung war, daß es keiner einzigen Bibliothek gelungen ist, Daten über die Nutzung von Volltextressourcen zu liefern. Aufgrund mangelnder Erfahrung auf diesem Gebiet wurde im Test nach verschiedenen Nutzungsaspekten gefragt: Anzahl der Logins, Verbindungszeit, Anzahl benutzter Dokumente, Anzahl gedruckter Dokumente, Anzahl der Downloads. Sofern es sich um Ressourcen handelt, für die man eine Lizenz besitzt und die sich auf dem Server eines externen Anbieters, z.B. eines Verlages, befinden, hat man keine direkte Einsicht in derartige Daten. Eine zweite Kategorie betrifft Ressourcen, die per Download auf den bibliothekseigenen Server gebracht worden sind, denn auch dann verzeichnen die Logfiles die gesuchten Daten nicht.

Auf der Grundlage der inzwischen gemachten Erfahrungen sollen, wo nötig, die Definitionen der grundlegenden Datenelemente präzisiert und Indikatoren angepaßt bzw. geändert werden.

Die Ergebnisse der ersten Testrunde sind bei einem Treffen mit den Leitern der Testbibliotheken diskutiert worden. Jeder Teilnehmer wurde gefragt, welche drei durch die eigene Bibliothek ermittelten Resultate am besorgniserweckendsten sind und zu Verbesserungsmaßnahmen auffordern. Vielleicht am häufigsten genannt wurden die Durchlaufzeiten bei der Buchbearbeitung (C3). Dies war zu erwarten, da die Ergebnisse eindeutig zu interpretieren sind (je weniger Kalendertage, desto besser), Durchlaufzeiten einen zentralen Aspekt des Funktionierens von Bibliotheken darstellen und bislang noch keine Daten in diesem Bereich verfügbar waren. Bibliotheken mit schlechten Ergebnissen zeigten Interesse an der Methode, wie andere Bibliotheken ein gutes Resultat erzielten. Das ist die eigentliche Benchmarkingidee: ein gegenseitiger Vergleich kann durchaus zeigen, daß es ein Problem gibt, aber nicht, wie dieses behoben werden kann. Das Treffen hatte auch eine motivierende Wirkung. Die Manager wurden vom praktischen Nutzen des Benchmarkings überzeugt.

1. Der zweite Test

Die zweite Testrunde wird im Frühjahr 1999 stattfinden. In dieser Phase werden auch zwei Fragebögen in die Untersuchung einbezogen. Der erste Fragebogen hat zum Ziel, die Bewertung der Bibliothek durch die Benutzer zu messen und wird dann auch unter den tatsächlichen Besuchern verteilt. Es wird eine Einschätzung erfragt zu:

• Beständen
• Katalogen und Nachweisinstrumenten sowie Geräten zu ihrer Nutzung
• Lesesaal
• Mitarbeitern der Bibliothek
• Gebäude und Öffnungszeiten
• Eigenen Kenntnissen der Bibliothek und Fertigkeiten, um mit den Einrichtungen der Bibliothek umzugehen
• Einer allgemeinen Bewertung

Der zweite Fragebogen hat zum Ziel, den Wirkungsbereich der Bibliothek zu messen (wer hat welche Bibliothekseinrichtungen gebraucht) und wird an eine Stichprobe von Studenten und Dozenten der Universität verteilt. Es wird erfragt:

• Wie oft man die Bibliothek besucht hat
• Was man dort gemacht hat
• Wie oft man die Bibliothek als externer Nutzer (von Zuhause oder vom Arbeitsplatz) benutzt hat
• Wie regelmäßig neueste Zeitschriftenhefte genutzt werden.

Beide Fragebögen können innerhalb von fünf Minuten ausgefüllt werden. Sie bilden einen notwendigen Bestandteil des Benchmarkinginstrumentariums. Um die Arbeitsbelastung gering zu halten ist beabsichtigt, diese Fragebögen lediglich einmal in zwei Jahren einzusetzen. Bibliotheken können auf Wunsch Fragen hinzufügen, die für die eigene Bibliothek wichtig sind.

Außer diesen beiden Fragebögen wurden noch sechs weitere entwickelt. Diese sind abgeleitet aus einem Qualitätsmanagement-Modell des "Instituut Nederlandse Kwaliteit (INK)". Sie beziehen sich auf folgende Aspekte: Führung, Managementinformation, Einführung von Prozeßveränderungen, Bewertung durch Lieferanten, Bewertung durch die Gesellschaft. Diese Fragebögen eignen sich allerdings mehr für eine externe Begutachtung durch Experten oder ein Auditverfahren, werden aber als weniger geeignet für einen gegenseitigen Vergleich erachtet. Ihre Anwendung ist daher auch nicht verbindlich.

Auch nach dem zweiten Test werden wahrscheinlich Definitionen präzisiert und Indikatoren angepaßt oder gestrichen werden. Absicht des Projekt ist es, soviel Indikatoren wie möglich zu testen, aber letztlich eine begrenzte Auswahl übrig zu behalten. Für den Erfolg des Projekts ist von Bedeutung, daß die letztendliche Indikatorenauswahl als sinnvoll für einen gegenseitigen Vergleich erachtet wird und daß die dazu benötigten Daten auf relativ einfache Weise erhoben werden können.

1. Anpassung durch das Management

Ein gegenseitiger Vergleich ist oft schwierig, da der Hintergrund der Bibliotheken variiert. Ein essentieller Bestandteil des Instrumentariums ist daher eine Gebrauchsanweisung für die Interpretation. Bei so manchem Projekt auf dem Gebiet

des Performance Measurement werden Manager mit einer Flut von Daten konfrontiert, aber nicht darauf hingewiesen, welche Bedeutung besonders einem niedrigen Resultat beigemessen werden muß, wie niedrige Resultate erklärt oder durch hohe Werte in anderen Bereichen kompensiert werden können und welche Maßnahmen denkbar sind, die Resultate zu verbessern. Ein einfaches Beispiel: Eine niedrige Ausleihquote kann durch die Tatsache verursacht werden, daß sich die Bücher in Freihandaufstellung befinden. Sie kann durch Präsenznutzung kompensiert werden. Eine Bibliothek kann dies selbst schon im Kommentarformular unter der Überschrift "das Resultat beeinflussende strukturelle Faktoren" angeben. Die "Gebrauchsanweisung für die Interpretation" möchte für jeden einzelnen Indikator eine Übersicht über die das Resultat zum Guten oder Schlechten beinflussenden Faktoren bieten. Zur Illustration folgt hier der Text zum Indikator C3:

C3: Durchlaufzeit Empfang - Verfügbarkeit der Bücher

Relevanz

Bibliotheken mit einer kurzen Durchlaufzeit können als Vorbild dienen für Bibliotheken mit weniger günstigen Ergebnissen. Aufgepaßt: eine schnelle Verfügbarkeit erfordert auch eine kurze Durchlaufzeit zwischen Erscheinungsdatum und Empfangsdatum. Diese bleibt aus praktischen Erwägungen außer acht.

Interpretation

Eine nähere Untersuchung von Bibliotheken mit kurzer Durchlaufzeit kann ans Licht bringen, wie sie dieses Ergebnis erzielen. Die Analyse kann sich mehr oder weniger auf folgende Aspekte richten:

• Die Organisation, die Abstimmung zwischen den Abteilungen untereinander: was wird getan warum, durch wen, in welcher Abfolge, in welchen Räumen. Man kann diese Vorgänge gut veranschaulichen mit Hilfe von Flußdiagrammen.
• Flaschenhälse: Eine Kette ist so stark wie ihr schwächstes Glied. Strukturelle Verzögerungen bei einem Teilbereich können eine lange Durchlaufzeit zur Folge haben, auch wenn die Arbeitsvorgänge in anderen Bereichen noch so schnell vonstatten gehen. Diese lassen sich ermitteln, indem man eine Stichprobe von Büchern mit Streifen versieht und die Mitarbeiter bittet, darauf das Datum zu notieren, an dem sie ihre Arbeit am Buch beendet haben.
• Arbeitsvorrat / Rückstände: Je mehr Bücher bearbeitet werden müssen, desto länger müssen sie auf ihre Bearbeitung warten.

Tabelle 1: Erste Auswahl von Leistungsindikatoren

B Dienstleistungsangebot und Ausstattungen

B4 Anzahl elektronischer Zeitschriften / Gesamtzahl der Zeitschriften

B5 Bücher in Freihandaufstellung / Zugang des vergangenen Jahres

C Prozesse