OAI-SearchBot

Wenn ChatGPT eine Frage mit Websuche beantwortet und Quellen verlinkt, stammen diese Quellen aus einem Index, den OpenAI selbst aufbaut. Der Crawler dafür heißt OAI-SearchBot. Er ist das Gegenstück zum Trainings-Crawler GPTBot und für die meisten Unternehmen der wichtigere der beiden.

Eine Übersicht aller KI-Crawler mit robots.txt-Vorlagen finden Sie im Beitrag llms.txt und robots.txt für KI-Crawler. Dieser Eintrag erklärt, wie der Bot entstanden ist, was eine Sperre kostet und wie Sie prüfen, ob er Ihre Website erreicht.

Mit der ChatGPT-Suche entstanden

OAI-SearchBot ist so alt wie die Suchfunktion von ChatGPT. Die Stationen:

Die Nachfrage nach dem Namen wächst mit: Laut Google-Ads-Daten wurde in Deutschland 2024 nur vereinzelt nach „OAI-SearchBot“ gesucht, 2026 sind es bis zu 120 Anfragen im Monat. Für einen technischen Bot-Namen ist das bemerkenswert, und es zeigt, dass die Frage im Website-Betrieb angekommen ist.

Im Log meldet sich der Bot mit einer vollständigen Browser-Kennung, an die sein Name angehängt ist. OpenAI nennt als Beispiel (Versionsnummern können sich ändern):

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot

Filter, die Bots nur am Anfang der Kennung erkennen, übersehen ihn deshalb. Suchen Sie gezielt nach der Zeichenfolge OAI-SearchBot.

Was eine Sperre kostet

OpenAIs Dokumentation ist an dieser Stelle eindeutig: Websites, die OAI-SearchBot ausschließen, werden in den Antworten der ChatGPT-Suche nicht gezeigt, können aber weiterhin als reine Navigationslinks erscheinen. Wer bei einer Frage nach der eigenen Marke nur noch als Link auftaucht, fehlt bei allen anderen Fragen als Quelle.

Die Einstellungen für OAI-SearchBot und GPTBot sind laut OpenAI voneinander unabhängig. Training auszuschließen kostet also keine Sichtbarkeit in der Suche. Die Faustregel für Unternehmen: Wer in ChatGPT-Antworten vorkommen will, lässt OAI-SearchBot zu und entscheidet über GPTBot getrennt davon. Änderungen an der robots.txt berücksichtigt OpenAI für die Suche nach etwa 24 Stunden. Wer einzelne Bereiche ausnehmen will, etwa Kundenportal und Warenkorb, kann das gezielt tun:

User-agent: OAI-SearchBot
Allow: /
Disallow: /kundenbereich/
Disallow: /warenkorb/

Eine Garantie, zitiert zu werden, gibt es auch bei offener Tür nicht. OpenAI formuliert in seinem FAQ für Publisher vorsichtig: Der Zugang für OAI-SearchBot helfe sicherzustellen, dass Inhalte gefunden und zitiert werden können. Ob sie es werden, entscheidet die Qualität der Seite für die jeweilige Frage.

OAI-SearchBot und ChatGPT-User: zwei Momente

In den Logs erscheint neben OAI-SearchBot oft ein zweiter Name: ChatGPT-User. Beide dienen der Antwort, aber zu verschiedenen Zeitpunkten:

• OAI-SearchBot arbeitet im Voraus. Er erfasst Seiten automatisch und folgt der robots.txt.
• ChatGPT-User kommt im Moment der Frage, wenn ChatGPT oder ein Custom GPT eine Seite für einen Nutzer öffnet. Laut OpenAI gelten robots.txt-Regeln dafür nicht zwingend, und der Bot entscheidet nicht darüber, ob Inhalte in der Suche erscheinen.

Ein erfundenes, aber typisches Beispiel: Ein Werkzeughändler wundert sich, dass ChatGPT bei Produktfragen nur Wettbewerber nennt. Die robots.txt erlaubt OAI-SearchBot. Erst die Server-Logs zeigen, dass ein Bot-Schutz des Shopsystems alle Abrufe aus Rechenzentren mit einer Prüfseite beantwortet, die kein Crawler lösen kann. Nach einer Ausnahme für die veröffentlichten IP-Bereiche aus searchbot.json ruft der Bot die Produktseiten wieder ab. Für das Marketing war der Fehler unsichtbar, weil Shop und robots.txt einwandfrei aussahen.

Messen, ob es wirkt

Ob OAI-SearchBot Ihre Website erreicht und ob das etwas bringt, lässt sich an drei Stellen ablesen:

Für den Anfang genügt ein Gesundheitscheck in drei Fragen: Kommt OAI-SearchBot regelmäßig? Erhält er Statuscode 200? Stehen Ihre wichtigsten Leistungs- und Produktseiten unter den abgerufenen Adressen? Lautet eine Antwort nein, liegt das Problem vor jeder inhaltlichen Optimierung.

Den Parameter utm_source=chatgpt.com hängt ChatGPT laut OpenAI automatisch an Verweis-Links an. Wie Sie solche Besuche sauber auswerten, beschreiben die Einträge LLM-Referral-Traffic und KI-Kanalgruppe in GA4.