GPTBot

Im August 2023 tauchte in vielen Server-Logs ein neuer Name auf: GPTBot. OpenAI hatte seinen Trainings-Crawler dokumentiert und damit erstmals einen Weg angeboten, Inhalte per robots.txt vom KI-Training auszuschließen. Die Suchanfragen nach dem Namen schossen in Deutschland im selben Monat in die Höhe, seither ist das Interesse stabil.

Drei Jahre später ist GPTBot einer von mehreren OpenAI-Bots, und genau daraus entstehen die meisten Fehlentscheidungen. Eine Übersicht aller KI-Crawler mit Vorlagen finden Sie im Beitrag llms.txt und robots.txt für KI-Crawler; hier geht es um GPTBot selbst: Aufgabe, Erkennung und die Folgen einer Sperre.

Ein Bot von vieren

OpenAI trennt seine Bots nach Zweck, und jeder lässt sich in der robots.txt einzeln ansprechen. Laut OpenAI-Dokumentation sind die Einstellungen voneinander unabhängig:

Die Trennung ist kein Detail: Schon beim Start des Suchprototyps SearchGPT im Juli 2024 schrieb OpenAI, dass Websites in Suchergebnissen erscheinen können, auch wenn sie das Training ausschließen. Sind beide Bots erlaubt, kann OpenAI laut Dokumentation einen einzigen Abruf für beide Zwecke verwenden, um doppeltes Crawlen zu vermeiden.

Echt oder gefälscht: GPTBot im Log erkennen

GPTBot meldet sich mit einer festen Kennung im User-Agent. OpenAI nennt als Beispiel (die Versionsnummer kann sich ändern):

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Beim Abruf der robots.txt kann OpenAI laut Dokumentation zusätzlich den Marker „robots.txt“ in die Kennung einfügen. So lassen sich Abrufe der Steuerdatei auch in Logs ohne Pfadangabe von normalen Seitenabrufen unterscheiden.

Die Kennung allein beweist nichts, denn jeder Scraper kann sie kopieren. Verlässlich ist erst der Abgleich der IP-Adresse mit der Liste, die OpenAI unter openai.com/gptbot.json veröffentlicht. Stammt ein Abruf mit GPTBot-Kennung aus keinem dieser Bereiche, ist er nicht von OpenAI.

Ein erfundenes, aber typisches Beispiel: Ein Fachverlag sperrt GPTBot und sieht trotzdem täglich Hunderte Abrufe mit dieser Kennung. Die Prüfung zeigt, dass sie aus einem Rechenzentrum ohne Bezug zu OpenAI kommen. Die robots.txt hilft hier nicht, weil sich der Absender nicht daran hält; zuständig ist die Firewall.

Für die regelmäßige Kontrolle genügt ein einfacher Ablauf: Abrufe mit GPTBot-Kennung filtern, IP-Adressen gegen die aktuelle JSON-Liste prüfen, Treffer und Nicht-Treffer getrennt zählen. Die Liste ändert sich; sie sollte deshalb automatisiert abgeglichen werden, nicht als einmal kopierte Tabelle.

Was eine Sperre bewirkt

Wer OpenAI vom Training ausschließen, in der ChatGPT-Suche aber sichtbar bleiben will, trennt beide Bots ausdrücklich:

# Training ausschließen, ChatGPT-Suche zulassen
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Auch Teilsperren sind möglich, etwa für Fachartikel oder Downloads, die Sie nicht in Trainingsdaten sehen wollen:

# Nur einzelne Bereiche vom Training ausnehmen
User-agent: GPTBot
Disallow: /fachartikel/
Disallow: /downloads/

Wie schnell eine geänderte Regel greift, ist nur für die Suche beziffert: Dort nennt OpenAI etwa 24 Stunden. Für GPTBot gibt die Dokumentation keine Frist an. Was die Sperre bewirkt und was nicht:

• Wirkung nach vorn: Die Sperre signalisiert, dass Inhalte nicht ins Training künftiger Modelle sollen. Bereits gesammelte Daten werden dadurch nicht entfernt.
• Keine Wirkung auf die ChatGPT-Suche: Dafür ist OAI-SearchBot zuständig.
• Möglicher Nebeneffekt, Einschätzung: Was ein Modell nicht gelernt hat, kann es ohne Websuche nicht wiedergeben. Für wenig bekannte Marken kann das die Gefahr von Marken-Halluzinationen erhöhen.

Ausblick: ein Signal für alle Anbieter

Bisher muss jede Website jeden Trainings-Crawler einzeln ansprechen. Das könnte sich ändern: Am 30. Oktober 2026 kündigte Google an, ein gemeinsames Trainingssignal in der robots.txt zu unterstützen, das auf der Arbeit der IETF-Gruppe AI Preferences beruht; Anthropic wertet ein solches Signal nach eigenen Angaben bereits aus. Ob und wann OpenAI es für GPTBot berücksichtigt, steht in der Crawler-Dokumentation (Stand November 2026) nicht.

Rückenwind kommt aus Europa: Google verweist in seiner Ankündigung darauf, dass der GPAI-Verhaltenskodex zur KI-Verordnung die robots.txt als zentrale maschinenlesbare Form anerkennt, mit der Website-Betreiber ihre Präferenzen ausdrücken. Wie das rechtlich mit dem Text-und-Data-Mining-Vorbehalt zusammenhängt, erklärt der gleichnamige Eintrag.