4. Die Analyse der Suchmaschinenzugriffe und -indexierung
4.1 Die Protokollierung der Suchmaschinenzugriffe und -indexierung
Während der Laufzeit des Versuchs wurde täglich in den Datenbanken der sieben Suchmaschinen nach allen Testzeichenfolgen gesucht (vgl. Tabelle 2). Dabei mussten täglich 770 Suchanfragen für die verschiedenen Teststrings gestellt und die Ergebnisse dieser Suchanfragen ausgewertet werden. Diese Aufgabe wurde automatisiert durch ein sogenanntes Unix-Shell-Skript, das zeitgesteuert jede Nacht ablief. Das Skript arbeitete in drei Schritten:
- 1. Schritt: Suchanfragen stellen und Ergebnisse speichern
- 2. Schritt: Suchergebnisse auswerten
- 3. Schritt: Auswertungsergebnisse in einer Datenbank speichern
Abbildung 1: Ablauf der Auswertung
1. Schritt: Suchanfragen stellen und Ergebnisse speichern
Das Skript lud zunächst die Suchergebnisse der Suchmaschinen für jeden einzelnen Suchbegriff aus dem Web herunter. Jede Anfrage wurde mittels des Programms wget (Internet, http://www.gnu.org/software/wget/wget.html) an die jeweilige Suchmaschine geschickt. Die Suchbegriffe wurden in URLs (Uniform Resource Locator) kodiert an wget übergeben. Diese URLs forderte wget dann von der jeweiligen Suchmaschine an. Jede Suchmaschine verwendet ein eigenes Format zur Kodierung der Suchbegriffe und weiterer Suchoptionen in einer URL. Bei diesem Versuch wurde jeweils die URL-Syntax für eine einfache Standardsuche mit nur einem Suchbegriff ohne weitere Optionen verwendet. Die von den Suchmaschinen als HTML-Dateien zurückgelieferten Suchergebnisse wurden gespeichert.
2. Schritt: Suchergebnisse auswerten
Im nächsten Schritt wurde ausgewertet, ob es zu den gesuchten Testzeichenfolgen Treffer bei den jeweiligen Suchmaschinen gab. Dazu wurde überprüft, ob die zu den Suchbegriffen gehörenden Seiten gefunden wurden. Die Seiten sind durch ihre URL eindeutig identifizierbar. Jedem Suchbegriff ist genau eine URL zugeordnet. Zu dem Suchbegriff "SoffisbE2000 Saar” müsste also die URL "http://www.suchmal.handshake.de/soffisb2/soffisb2.html” gefunden werden und somit in der Ergebnisseite der jeweiligen Suchmaschine enthalten sein. Die Auswertung der Suchergebnisse erfolgte mit dem Programm grep (Internet, http://www.gnu.org/software/grep/grep.html). grep sucht in Daten nach vorgegebenen Mustern. In jeder zuvor gespeicherten Ergebnisseite zu einem Suchbegriff wurde mit grep nach der zu diesem Suchbegriff gehörenden URL als Suchmuster gesucht.
3. Schritt: Auswertungsergebnisse in einer Datenbank speichern
Die Ergebnisse der Auswertung wurden in einer Tabelle einer MySQL-Datenbank gespeichert. Für jede Suchmaschine und jeden Suchbegriff wurde ein Eintrag erzeugt, der das genaue Datum der Suche und das Ergebnis der Auswertung - "Seite gefunden” oder "Seite nicht gefunden” - festhält. An die Datenbank konnten dann Fragen wie "Welche Suchmaschine hat als erste eine Seite in ihrem Index aufgenommen?”, "Welche Seiten wurden von einer Suchmaschine erfasst?” oder "Welche Suchbegriffe wurden in den Index aufgenommen?” in der Abfragesprache SQL gestellt werden. Ein Web-Interface mit Zugriff auf die Daten in dieser Datenbank ermöglichte es, während des Verlaufs der Studie die aktuellen Ergebnisse abzufragen.
4.2 Die Auswertung der Server-Logfiles und der Trefferlisten der Suchmaschinen
Im Rahmen der Untersuchung wurden sowohl die Server-Logfiles als auch die Ergebnisse der Auswertung der Trefferlisten der Suchmaschinen verwendet. In der Regel wird jeder Zugriff auf einen Webserver in sogenannten Server-Logfiles protokolliert. Dabei wird aufgezeichnet, welcher Rechner - identifiziert durch seine IP-Adresse oder seinen Namen - zu welchem Zeitpunkt welche Dateien angefordert hat. Je nach verwendetem Webserver werden noch weitere Informationen mitprotokolliert, wie beispielsweise der zurückgegebene HTTP-Statuscode oder die Größe der abgerufenen Datei. Anhand der IP-Adresse oder des Namens ist theoretisch eine Zuordnung eines Web Crawlers (auch spider oder robot genannt) zu einem Suchmaschinenanbieter möglich. Die Logfiles wurden mit dem frei verfügbaren LINUX-Programm analog (Version 4.13) ausgewertet. Zusätzlich wurde stichprobenartig eine manuelle Auswertung zur Überprüfung der Ergebnisse vorgenommen.
Für die Studie war es wichtig festzustellen, welcher Suchmaschinenanbieter mit welchem Web Crawler zu welchem Zeitpunkt auf die Testseiten zugriff. Bei der Auswertung der Logfiles zeigte sich allerdings, dass die Zuordnung von Web Crawlern zu Suchmaschinenanbietern in einigen Fällen nicht eindeutig möglich war. Zwar existieren im Web mehr oder weniger vollständige Verzeichnisse für die Web Crawler (vgl. Kosters The Web Robots Database oder Spider Central - The Definitive Spider List) einzelner Suchmaschinen, allerdings konnte auch mit deren Hilfe in einigen Fällen keine eindeutige Zuordnung von Web Crawler zu Suchmaschine getroffen werden. Ein weiteres Problem ergab sich daraus, dass die Web Crawler zum Teil nicht über DNS-Einträge verfügen, weshalb sie in den Logfiles nur über ihre IP-Adresse und nicht über einen Namen identifiziert werden konnten. Aufgrund dieser Problematik wird in der folgenden Auswertung nur auf diejenigen Zugriffe eingegangen werden, die einzelnen Web Crawlern direkt zuzuorden sind und die durch Web Crawler erfolgten, die in unserer Untersuchung berücksichtigt werden sollten.
4.3 Die Auswertung der Zugriffe durch die Web Crawler der Suchmaschinen
Die erste Suchmaschine, die auf die Testseiten zugriff, war Google.com. Der Crawler von Google stattete der Test-Web Site bereits am 1. Juli 2000 einen Besuch ab, wobei folgende Dateien angefordert wurden: eine (nicht-existierende) Datei robots.txt, die Indexdatei index.html auf der ersten Ebene und die reine Textseite (eine Seite ohne Metadaten, Titel und Überschrift nur mit einer Teststringfolge im Text) der ersten Ebene. Am 6. Juli 2000 wurden alle weiteren Webseiten der Site angefordert und indexiert. Interessant war, dass der Web Crawler von Google.com, crawler.googlebot.com, in ziemlich regelmässigen Abständen (in der Regel etwa alle 14 Tage) die Test-Web Site erneut besuchte, ohne dass eine Datei robots.txt dazu aufforderte. Die Teststrings waren erst am 28. Juli 2000 im Index von Google recherchierbar.
Als zweite Suchmaschine besuchte der Crawler von Fireball, rap.fireball.de, die Test-Web Site am 2. Juli zum ersten Mal. Allerdings wurde dabei nur die Textseite der ersten Hierarchieebene angefordert. Erst in späteren Besuchen wurden die tieferliegenden, ebenfalls angemeldeten Seiten der Ebenen 4 und 9 angefordert. Hier ergab sich eine Diskrepanz zu den Ergebnissen der Auswertung der Trefferlisten. Denn bereits am 2. Juli 2000 wurden alle Seiten der Hierarchieebenen 4 und 9 mit den entsprechenden Suchbegriffen im Index von Fireball.de gefunden. Eine mögliche Erklärung ist eine fehlerhafte Protokollierung der Zugriffe in den Server-Logfiles. Eine andere Erklärung ist, dass Fireball.de neben seinem eigenen Crawler rap.fireball.de Web Crawler ohne namentlich identifizierbare DNS-Einträge verwendet.
Wann die übrigen getesteten Suchmaschinen auf die Test-Web Site zugegriffen haben, konnte aufgrund fehlender DNS-Einträge für die eindeutige Zuordnung von Web Crawler zu Suchmaschinenanbieter nicht ermittelt werden. Zwar wurden in den Server-Logfiles weitere IP-Adressen gefunden, diese konnten aber nicht identifiziert werden. Der Mangel an DNS-Einträgen führte zu einer fehlenden Transparenz beim Zuordnen von Zugriffen zu Suchmaschinen. Die Suchmaschinenanbieter scheinen kein Interesse an einer Identifizierbarkeit ihrer Web Crawler durch Webmaster zu haben.