Web Bot Auth

Eine Anfrage meldet sich als GPTBot, eine andere als Einkaufsagent eines großen KI-Anbieters. Ob das stimmt, prüfen Website-Betreiber bisher über IP-Listen oder DNS-Abfragen, und bei KI-Agenten, die aus wechselnden Cloud-Rechenzentren kommen, stößt selbst das an Grenzen. Der Name im User-Agent ist nur eine Behauptung, die jeder Scraper kopieren kann.

Web Bot Auth ist ein Verfahren, mit dem Bots und KI-Agenten ihre Anfragen kryptografisch signieren. Die Website oder ihr CDN prüft die Signatur mit einem öffentlichen Schlüssel, den der Betreiber des Bots veröffentlicht, und weiß danach sicher, von welchem Dienst die Anfrage stammt. Das ergänzt die bisherige Prüfung von KI-Crawlern über User-Agent und IP-Adresse und ist vor allem für Agenten-Traffic gedacht, der sich sonst kaum von menschlichen Besuchern trennen lässt.

So funktioniert die Signatur

Technisch baut Web Bot Auth auf dem IETF-Standard HTTP Message Signatures auf (RFC 9421, Februar 2024). Der Betreiber eines Bots erzeugt ein Schlüsselpaar, Cloudflare unterstützt dafür das Verfahren Ed25519. Den öffentlichen Schlüssel stellt er als JSON Web Key Set in ein Verzeichnis unter der festen Adresse /.well-known/http-message-signatures-directory seiner Domain. Jede Anfrage des Bots erhält dann drei zusätzliche Header:

• Signature-Agent nennt die Domain, unter der das Schlüsselverzeichnis liegt.
• Signature-Input legt fest, welche Teile der Anfrage signiert sind, etwa der Zielhost, dazu Erstellungs- und Ablaufzeit, die Kennung des Schlüssels und den Zweck tag="web-bot-auth".
• Signature enthält die eigentliche Signatur.

GET /preise/ HTTP/1.1
Host: www.beispiel-shop.de
User-Agent: Mozilla/5.0 (compatible; ExampleAgent/1.0)
Signature-Agent: "https://agent.example"
Signature-Input: sig1=("@authority" "signature-agent");created=1794150000;expires=1794150300;keyid="ba3e64";tag="web-bot-auth"
Signature: sig1=:Qm9vdHN0cmFw:

Die Website oder das vorgeschaltete CDN lädt den öffentlichen Schlüssel, prüft die Signatur und das Zeitfenster und hat damit einen Nachweis, den ein Nachahmer ohne den privaten Schlüssel nicht erbringen kann. Weil die Identität nicht mehr an IP-Adressen hängt, funktioniert das auch für Agenten, die aus beliebigen Cloud-Umgebungen anfragen.

Vom Entwurf zur Praxis

Web Bot Auth ist schnell von einer Idee bei Cloudflare zu einem Thema der gesamten Branche geworden. Ein Standard ist es Stand November 2026 noch nicht. Die Stationen:

Neben Cloudflare unterstützen weitere Anbieter für Bot-Schutz und CDN die Prüfung, darunter Akamai. Für Website-Betreiber heißt das: Die Arbeit erledigt in der Praxis die Infrastruktur, nicht das CMS.

Was Website-Betreiber tun können

Direkten Einfluss auf Rankings oder Sichtbarkeit in KI-Suchen hat Web Bot Auth nicht. Relevant wird es dort, wo Sie Bots heute pauschal sperren oder durchlassen und dabei Fehler in beide Richtungen machen: echte KI-Dienste aussperren oder Scraper unter falschem Namen hereinlassen.

• Infrastruktur prüfen: Fragen Sie Ihren CDN- oder Bot-Schutz-Anbieter, ob er signierte Anfragen erkennt und wie sie in Regeln und Berichten erscheinen.
• Regeln abstufen: Verifizierte Agenten können Sie gezielter behandeln als unbekannte Automatisierung, etwa an Login, Suche oder Checkout.
• Nicht allein darauf verlassen: Google schreibt ausdrücklich, dass nicht alle Anfragen signiert sind, und empfiehlt, weiterhin IP-Adressen, Reverse-DNS und User-Agents zu prüfen. Klassische Crawler wie OAI-SearchBot verifizieren Sie weiter über die veröffentlichten IP-Listen.
• Logs auswerten: Ob signierte Anfragen bei Ihnen ankommen, zeigt die Logfile-Analyse, sofern Ihre Logs die Header Signature-Agent oder Signature-Input mitschreiben.

Praxisbeispiel: ein angenommener Onlinehändler

Ein angenommener Onlinehändler, beispiel-shop.de, kämpft mit Preis-Scrapern, die sich als bekannte KI-Agenten ausgeben, um die Bot-Sperre zu umgehen. Gleichzeitig möchte er Einkaufsagenten nicht aussperren, weil über sie erste Bestellungen eingehen. Bisher lässt die Firewall alles durch, was einen bekannten Agenten-Namen im User-Agent trägt.

Nach der Umstellung gilt eine abgestufte Regel: Anfragen mit gültiger Web-Bot-Auth-Signatur eines bekannten Agenten dürfen Suche, Produktseiten und Checkout nutzen, mit einem großzügigen Ratenlimit. Anfragen, die nur den Namen eines Agenten im User-Agent tragen, aber nicht signiert sind, erhalten an Suche und Checkout eine Prüfung. Suchcrawler wie OAI-SearchBot und PerplexityBot, die nicht signieren, bleiben über den Abgleich mit den IP-Listen der Anbieter zugelassen.

Im Folgemonat zeigt das CDN-Protokoll, dass ein Großteil der vermeintlichen Agenten-Zugriffe keine Signatur trug (Zahlen fiktiv). Die Last auf der Produktsuche sinkt, die Bestellungen über Agenten laufen weiter. Der Händler hält die Regel bewusst offen für neue Agenten, denn Web Bot Auth ist noch ein Entwurf, und nicht jeder seriöse Dienst signiert schon.