Pay per Crawl
Auch: Cloudflare Pay per Crawl, HTTP 402 for crawlers
Pay per Crawl ist eine Cloudflare-Funktion, mit der Website-Betreiber KI-Crawlern für jeden Seitenabruf einen festen Preis berechnen. Wer nicht zahlt, erhält statt des Inhalts den Statuscode 402. Stand November 2026 ist sie in einer geschlossenen Beta.
Der Begriff ist gerade erst aufgetaucht. Noch wenig Praxis, Bedeutung kann sich verschieben.
Cloudflare stellte Pay per Crawl am 1. Juli 2025 als private Beta vor, zusammen mit dem von ihm ausgerufenen „Content Independence Day“ (Cloudflare-Blog). Der Begriff ist ein Produktname, wird aber zunehmend allgemein für bezahlten KI-Crawler-Zugang verwendet.
Ø der letzten 12 Monate, alle Schreibweisen. Veränderung: letzte 3 Monate zum Vorjahr. Stand 11/2026.
Technisch sauber gelöst und offen dokumentiert, aber nach 16 Monaten weiter geschlossene Beta ohne öffentliche Zahlen. Cloudflare selbst nennt den Abruf inzwischen ein „grobes Maß“ für den Wert von Inhalten.
Pay per Crawl ist ein Werkzeug für Verlage und Datenanbieter, die mit Inhalten Geld verdienen; für eine Unternehmenswebsite, die in KI-Antworten gefunden werden will, wirkt eine Gebühr heute meist wie eine Sperre.
- Klären Sie mit IT oder Agentur, ob Ihre Website über Cloudflare läuft. Wenn ja, prüfen Sie in AI Crawl Control, welche KI-Crawler zugreifen und ob einige bereits blockiert werden, ohne dass Sie das entschieden haben.
- Entscheiden Sie anhand Ihres Geschäftsmodells: Wer von Reichweite und Anfragen lebt, lässt Such- und Antwort-Crawler kostenlos zu. Wer Inhalte verkauft, kann sich für die Beta bewerben oder auf bezahlten Cloudflare-Tarifen eine 402-Nachricht mit Lizenzkontakt hinterlegen.
- Behalten Sie mit dem KI-Quellen-Check im Blick, ob Ihre Seiten nach einer Änderung weiter in ChatGPT, Perplexity und Google zitiert werden.
Seit KI-Suchen Antworten direkt liefern, klicken weniger Menschen auf die Quellen. Für Verlage bricht damit die alte Rechnung weg, nach der Crawler Inhalte kostenlos abholen und dafür Besucher zurückschicken. Pay per Crawl ist Cloudflares Versuch, eine neue Rechnung aufzumachen: Der Crawler zahlt direkt für jeden Abruf.
Der Begriff wird im Netz oft so verwendet, als könne jede Website ab sofort KI-Firmen zur Kasse bitten. Das stimmt nicht. Es handelt sich um eine Funktion eines einzelnen Anbieters, Stand November 2026 in geschlossener Beta, und ihr Erfinder baut sie bereits zu etwas anderem um.
Ein alter Statuscode bekommt eine Aufgabe
Das HTTP-Protokoll kennt seit den 1990ern den Statuscode 402 Payment Required. Die aktuelle HTTP-Spezifikation RFC 9110 führt ihn bis heute nur als „reserviert für künftige Nutzung“. Cloudflare nutzt genau diese Lücke: Statt einen Crawler mit 403 Forbidden abzuweisen, antwortet der Server mit 402 und einem Preis.
Vorgestellt wurde das am 1. Juli 2025. Am selben Tag kündigte Cloudflare an, KI-Crawler künftig standardmäßig zu blockieren, sofern sie nicht für Inhalte zahlen. Pay per Crawl sollte den Ausweg aus der Wahl zwischen „alles offen“ und „alles zu“ bieten. Der Website-Betreiber legt einen Preis pro Abruf fest, der für die ganze Domain gilt, und entscheidet für jeden Crawler zwischen drei Optionen:
- Allow: kostenloser Zugang, etwa für Such-Crawler, die Besucher bringen.
- Charge: Zugang gegen den festgelegten Preis.
- Block: kein Zugang, auch nicht gegen Bezahlung.
Ein wichtiges Detail aus Cloudflares Beschreibung: Hat ein Crawler keine Abrechnungsbeziehung mit Cloudflare, kann er nicht zahlen. „Charge“ wirkt für ihn wie eine Sperre, signalisiert aber, dass eine Lizenz möglich wäre.
Ein Abruf, drei mögliche Antworten
Technisch läuft Pay per Crawl über gewöhnliche HTTP-Header. Damit sich niemand als zahlender Crawler ausgeben kann, muss der Crawler seine Anfragen kryptografisch signieren (Verfahren „Web Bot Auth“) und sich vorher bei Cloudflare registrieren. Cloudflare dokumentiert zwei Abläufe:
- Erst fragen, dann zahlen: Der Crawler ruft eine Seite ohne Zahlungsangabe ab und erhält
402mit dem Headercrawler-price. Wiederholt er die Anfrage mitcrawler-exact-price, bekommt er die Seite mit200 OK. - Budget mitschicken: Der Crawler sendet gleich
crawler-max-price. Liegt der Preis darunter, wird die Seite ausgeliefert und nur der festgelegte Preis berechnet. Liegt er darüber, kommt402. - Abrechnung: Jede erfolgreiche Antwort trägt den Header
crawler-charged. Cloudflare sammelt diese Ereignisse, belastet den Crawler-Betreiber und zahlt an die Website aus. Cloudflare tritt dabei als „Merchant of Record“ auf, ist also Vertragspartner der Zahlung.
Rechenbeispiel zur Einordnung, keine echten Preise: Ein Fachportal mit 20.000 Artikeln setzt 0,01 US-Dollar pro Abruf. Liest ein zahlender Crawler alle Artikel einmal, sind das 200 Dollar. Ob er das tut, wie oft er wiederkommt und ob er die Inhalte danach in tausenden Antworten nutzt, bildet der Preis nicht ab.
Stand November 2026: Beta und Kurswechsel
Laut Cloudflare-Dokumentation ist Pay per Crawl weiterhin in geschlossener Beta; Interessenten bewerben sich per Formular. Welche KI-Firmen tatsächlich zahlen und wie viel umgesetzt wird, hat Cloudflare nicht veröffentlicht. Drei Entwicklungen ordnen den Begriff ein:
| Datum | Schritt |
|---|---|
| 1. Juli 2025 | Pay per Crawl startet als private Beta, Cloudflare kündigt an, KI-Crawler standardmäßig zu blockieren, solange sie nicht zahlen. |
| 28. August 2025 | AI Crawl Control ist allgemein verfügbar. Kunden mit bezahltem Tarif können gesperrten Crawlern eine eigene 402-Nachricht schicken, etwa mit Lizenzkontakt, auch ohne Pay per Crawl. |
| 1. Juli 2026 | Cloudflare nennt den Abruf ein „grobes Maß“ für Wert und kündigt an, Pay per Crawl zu „Pay per Use“ weiterzuentwickeln, also nach tatsächlicher Nutzung abzurechnen. |
Der Kurswechsel ist nachvollziehbar. Eine Seite kann einmal abgerufen und danach in unzähligen Antworten zitiert werden, eine andere wird ständig gecrawlt und nie genutzt. Wie „Pay per Use“ genau abrechnen soll, ist offen; Cloudflare spricht von Experimenten mit Partnern. Das Ziel teilt der offene Standard Really Simple Licensing, der Lizenzbedingungen maschinenlesbar beschreibt und neben Bezahlung pro Abruf auch Bezahlung pro Nutzung vorsieht.
Für wen sich das Thema lohnt
Die Frage, ob man Geld für Crawls verlangen sollte, hängt am Geschäftsmodell, nicht an der Technik. Zwei Gegenpole machen das deutlich:
- Ein Fachverlag lebt von exklusiven Inhalten. Wenn KI-Antworten seine Artikel ersetzen, verliert er Abonnenten. Für ihn kann eine Lizenzgebühr sinnvoll sein, und sei es nur als Verhandlungssignal.
- Ein Maschinenbauer veröffentlicht Ratgeber, damit Einkäufer ihn finden. Jede Gebühr senkt die Chance, als Quelle in einer KI-Antwort aufzutauchen, weil die meisten Crawler heute nicht zahlen. Für ihn zählt KI-Sichtbarkeit, nicht Lizenzumsatz.
Für die meisten Mittelständler gehört Pay per Crawl deshalb auf die Beobachtungsliste, nicht auf die To-do-Liste. Wichtiger ist, bewusst zu entscheiden, welche KI-Crawler überhaupt zugreifen dürfen. Die Grundlagen dazu stehen im Beitrag llms.txt und robots.txt für KI-Crawler, die Einordnung der Steuerungsdatei im Eintrag robots.txt für KI.
Was ChatGPT, Perplexity und der Google KI-Modus zu „Pay per Crawl“ sagen
Wir haben allen drei KI-Suchen dieselbe Frage gestellt: „Was ist Pay per Crawl im Zusammenhang mit KI-Suche und Online-Marketing? Bitte kurz in 3 bis 5 Sätzen erklären.“ (Abfrage am 08.11.2026, Standort Deutschland) und die Antworten gegen die belegten Fakten in diesem Eintrag geprüft.
Das Prinzip stimmt. Die Antwort beschreibt Pay per Crawl aber als allgemeines Abrechnungsmodell, das Unternehmen einfach nutzen könnten. Tatsächlich ist es eine Cloudflare-Funktion in geschlossener Beta, und dass KI-Dienste wie ChatGPT oder Perplexity darüber zahlen, ist nicht belegt.
Auszug aus der Antwort
Statt Inhalte kostenlos zur Verfügung zu stellen, können Unternehmen pro Seitenabruf eine Gebühr festlegen oder den Zugriff verweigern.
Sachlich korrekt, inklusive Statuscode 402 und der Abwägung zwischen Einnahmen und Sichtbarkeit. Es fehlt, dass das Verfahren von Cloudflare stammt und noch in geschlossener Beta ist.
Auszug aus der Antwort
Der Crawler erhält den Inhalt erst nach Zustimmung zur Zahlung; andernfalls kann der Server eine Zahlungsaufforderung mit HTTP-Status 402 senden.
Nennt Cloudflare und die Primärquellen. Ein „direkt ausgelöstes Micropayment“ gibt es aber nicht: Cloudflare sammelt Abrechnungsereignisse und rechnet gebündelt ab. Dass Medienhäuser so bereits gegenüber OpenAI, Google oder Anthropic monetarisieren, ist nicht belegt.
Auszug aus der Antwort
Besucht ein Crawler die Seite, wird entweder über einen Statuscode (z. B. eine Zahlungsaufforderung) direkt ein Micropayment ausgelöst oder der Zugriff verweigert, falls nicht gezahlt wird.
Unser Fazit: Alle drei erklären die Grundidee richtig, keine erwähnt, dass Pay per Crawl seit Juli 2025 in geschlossener Beta steckt und Cloudflare es seit Juli 2026 zu „Pay per Use“ umbaut. Wer die Antworten liest, überschätzt, wie verbreitet bezahlte Crawls heute sind.
Die Antworten von KI-Suchen ändern sich laufend. Wir wiederholen den Faktencheck regelmäßig. Sie möchten wissen, welche Quellen die KI zu Ihren Themen zitiert? Testen Sie den kostenlosen KI-Quellen-Check.
Häufige Fragen zu Pay per Crawl
Kann ich Pay per Crawl in Deutschland nutzen?
Lohnt sich Pay per Crawl für eine Unternehmenswebsite?
Zahlen OpenAI, Google oder Anthropic für Crawls?
Was ist der Unterschied zu einer Sperre in der robots.txt?
Verwandte Begriffe im Radar
Zurück zum KI-Such-RadarZuletzt aktualisiert: 08.11.2026 · Autor: Stephan Zabel
