ClaudeBot

ClaudeBot ist der Name, unter dem Anthropic Webinhalte für das Training seiner Claude-Modelle sammelt. Wer ihn in den Server-Logs findet, hat es mit einem von drei Anthropic-Bots zu tun, und die Verwechslung mit den beiden anderen ist der häufigste Fehler im Umgang mit ihm.

Fertige robots.txt-Vorlagen für alle gängigen KI-Crawler finden Sie im Beitrag llms.txt und robots.txt für KI-Crawler. Dieser Eintrag erklärt, wie ClaudeBot sich von seinen Geschwistern unterscheidet, nach welchen Regeln Anthropic Ihre robots.txt seit Ende Oktober 2026 liest und was die Suchkurve über den Namen verrät.

Drei Bots, drei Schalter

Anthropic trennt seine Bots nach Zweck. Die Beschreibungen folgen dem Hilfeartikel von Anthropic (Stand November 2026):

Seit Claude am 20. März 2025 die Websuche eingeführt hat, seit dem 27. Mai 2025 weltweit in allen Tarifen, ist diese Trennung geschäftlich relevant: Training und Sichtbarkeit lassen sich unabhängig voneinander entscheiden. Ein vierter Name taucht in Logs zunehmend auf, Claude-Agent. Er kennzeichnet Browser auf Anthropic-Infrastruktur, mit denen Claude Aufgaben für Nutzer erledigt, und wird getrennt von den Crawlern gesteuert.

Wie Anthropic Ihre Regeln liest

ClaudeBot hält sich nach Angaben von Anthropic an die robots.txt und unterstützt zusätzlich die nicht standardisierte Anweisung Crawl-delay, mit der Sie die Abrufgeschwindigkeit bremsen. Zwei Hinweise aus der Dokumentation werden oft übersehen: Die Regeln gelten je Subdomain, und eine Sperre über IP-Adressen ist laut Anthropic kein verlässliches Opt-out, weil der Bot dann Ihre robots.txt nicht mehr lesen kann.

Neu ist seit dem 30. Oktober 2026 ein allgemeines Trainingssignal. Anthropic wertet nach eigenen Angaben eine Präferenz „kein KI-Training“ aus, die auf einem Internet-Draft der IETF-Arbeitsgruppe AI Preferences beruht; Autor des Entwurfs ist ein Anthropic-Mitarbeiter. Das Signal steht als eigene Gruppe in der robots.txt. Für ClaudeBot gilt dabei eine klare Rangfolge: Nennt die Datei ClaudeBot, folgt der Bot dieser Regel, auch wenn das allgemeine Signal etwas anderes sagt. Fehlt ClaudeBot, gilt das allgemeine Signal. Ein Beispiel:

# Kein KI-Training für teilnehmende Anbieter ...
User-agent: __usage_ai-training
Disallow: /

# ... aber ClaudeBot darf das Handbuch lesen
User-agent: ClaudeBot
Disallow: /
Allow: /handbuch/

Wichtig für die Praxis: Sobald eine Gruppe ClaudeBot nennt, liest der Bot nur noch diese Gruppe. Formulieren Sie sie deshalb vollständig, wie im Beispiel mit Disallow: / vor der Ausnahme, sonst ist alles erlaubt, was nicht ausdrücklich gesperrt ist.

Sichtbarkeit nicht versehentlich verschenken

Für Unternehmen, die über Inhalte Kunden gewinnen, ist die typische Haltung: Claude-SearchBot und Claude-User zulassen, über ClaudeBot bewusst entscheiden. Fehler entstehen meist an zwei Stellen:

• Pauschalsperren: Eine Vorlage, die „alle KI-Bots“ aussperrt, trifft auch Claude-SearchBot und Claude-User und kostet damit die Präsenz in Claudes Antworten.
• Firewall statt robots.txt: Wer Anthropic per IP-Sperre aussperrt, verliert alle drei Bots auf einmal und gibt laut Anthropic nicht einmal ein verlässliches Signal ab.

Ein erfundenes, aber typisches Beispiel: Ein Softwarehaus sperrt Anfang 2025 per Firewall alles, was „Claude“ im Namen trägt, um sein Handbuch aus dem Training zu halten. Ein Jahr später fragen Kunden Claude nach Integrationen der Software und erhalten Antworten ohne Bezug auf die eigene Dokumentation. Mit einer Regel nur für ClaudeBot wäre das Handbuch aus dem Training geblieben und in der Suche sichtbar.

Ob die Haltung technisch ankommt, zeigen die Server-Logs: Erscheinen Claude-SearchBot und Claude-User mit Statuscode 200 auf Ihren wichtigen Seiten, ist der Weg in Claudes Antworten offen. Fehlen sie über Wochen völlig, lohnt ein Blick auf robots.txt, Firewall und Bot-Schutz des Hosters.

Was die Suchkurve verrät

Das Suchinteresse an ClaudeBot erzählt eine eigene Geschichte. Laut Google-Ads-Daten tauchen erste Suchen in Deutschland im November 2023 auf, im Frühjahr 2024 wird mit bis zu 1.300 Anfragen im Monat viel gesucht, danach pendelt es sich bei unter 100 ein. Im Januar und Februar 2026 springt die Kurve auf 2.400 und 4.400 Anfragen.