KI-Crawler

Wer heute in die Logdateien seines Webservers schaut, findet neben dem Googlebot eine wachsende Zahl neuer Namen: GPTBot, ClaudeBot, PerplexityBot und Verwandte. Im Gespräch landen sie meist unter einem Etikett, KI-Crawler. Technisch tun sie dasselbe, sie rufen Seiten ab. Was danach mit den Inhalten geschieht, unterscheidet sich aber grundlegend.

Eine Übersicht aller bekannten Bots mit fertigen robots.txt-Vorlagen finden Sie in unserem Beitrag llms.txt und robots.txt für KI-Crawler. Dieser Eintrag erklärt die Kategorie: woraus sie besteht, wie sie entstanden ist und was sie für Sichtbarkeit und Messung bedeutet.

Drei Aufgaben hinter einem Wort

Die großen Anbieter trennen ihre Bots inzwischen nach Zweck, und jeder Zweck lässt sich in der robots.txt einzeln ansprechen. Die folgende Tabelle folgt den offiziellen Dokumentationen (Stand November 2026):

Trainings-Crawler wie GPTBot oder ClaudeBot sammeln Material für künftige Modelle. Eine Sperre wirkt nach vorn, bereits Gelerntes bleibt. Such-Crawler wie OAI-SearchBot oder PerplexityBot bauen den Index, aus dem KI-Antworten Quellen ziehen; wer sie aussperrt, verschwindet dort als Quelle. Nutzerabrufe entstehen, wenn jemand im Chat eine Seite öffnen lässt. OpenAI und Perplexity schreiben, dass robots.txt-Regeln dafür nicht oder nur eingeschränkt gelten.

Google ist der Sonderfall. Es gibt keinen eigenen KI-Crawler, die Inhalte holt der Googlebot. Ob sie zusätzlich für Gemini-Training und Grounding in Gemini-Apps genutzt werden dürfen, entscheidet das Steuerwort Google-Extended. Für AI Overviews und den KI-Modus gilt seit dem 31. August 2026 eine eigene Einstellung in der Search Console, beschrieben im Eintrag KI-Bericht in der Search Console.

Wie die Kategorie entstand

Bis 2023 stammten Trainingsdaten großer Sprachmodelle zu großen Teilen aus allgemeinen Webarchiven wie Common Crawl. Eigene, benannte Crawler und die Trennung nach Zweck sind eine junge Entwicklung:

Die Nachfrage folgt dieser Entwicklung: Laut Google-Ads-Daten wurde 2023 in Deutschland nur vereinzelt nach „KI-Crawler“ oder „AI Crawler“ gesucht, 2026 sind es in einzelnen Monaten mehrere Hundert Anfragen. Aus einem Nischenthema für Verlage ist eine Standardfrage im Website-Betrieb geworden.

Was eine Sperre kostet und was sie schützt

Die häufigste Fehlentscheidung ist die Pauschalsperre. Sie schützt Inhalte vor dem Training, kostet aber auch die Präsenz in ChatGPT-Suche, Claude und Perplexity. Für die meisten Unternehmen, die über Inhalte Kunden gewinnen, ist eine differenzierte Haltung sinnvoller:

• Sichtbarkeit zuerst: Such-Crawler und Nutzerabrufe zulassen, über Training bewusst entscheiden. Typisch für B2B-Anbieter, Dienstleister, Hersteller.
• Inhalte sind das Produkt: Verlage, Datenbanken und Fachportale sperren Training häufig und prüfen Lizenzmodelle.
• Geschützte Bereiche: Kundenportale, Preislisten für Händler, interne Dokumente gehören hinter einen Login, nicht nur in die robots.txt.

Die technische Umsetzung beschreibt der Eintrag robots.txt für KI. Wichtig ist die Reihenfolge: erst die Geschäftsentscheidung, dann die Zeile in der Datei.

Messen: was in Ihren Logs steht

KI-Crawler hinterlassen Spuren, die Webanalyse-Tools wie GA4 nicht sehen, weil Bots kein JavaScript-Tracking auslösen. Die Quelle der Wahrheit sind die Server-Logs oder die Bot-Statistiken von CDN und Hoster. Drei Fragen genügen für den Anfang: Welche KI-Crawler kommen? Welche Seiten rufen sie ab? Werden sie irgendwo mit Fehlern oder Sperren beantwortet?

Aufschlussreich ist vor allem der Blick auf die Seiten. Ruft der Such-Crawler eines Anbieters Ihre Leistungsseiten ab oder nur Blog und Impressum? Was nie abgerufen wird, kann auch nicht als Quelle erscheinen. Häufige Abrufe durch ChatGPT-User oder Perplexity-User wiederum zeigen, dass Menschen im Chat gezielt Ihre Seiten öffnen lassen, ein indirektes Signal für Nachfrage.

Ein erfundenes, aber typisches Beispiel: Ein Online-Händler für Werkzeug wundert sich, dass Perplexity ihn nie als Quelle nennt. Die Logs zeigen, dass PerplexityBot seit Monaten nur Fehlercodes erhält, weil eine Firewall-Regel unbekannte Bots blockiert. Die robots.txt war korrekt, die Sperre saß eine Ebene tiefer.