robots.txt für KI

Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, in der Betreiber festlegen, welche Crawler welche Bereiche abrufen dürfen. Seit KI-Anbieter eigene Crawler betreiben, ist sie das wichtigste Werkzeug, um zu steuern, wer Inhalte für Modelltraining, KI-Suche und Live-Abrufe einsammeln darf. „robots.txt für KI“ ist dafür kein eigener Standard, sondern ein Sammelbegriff für Regeln, die sich an KI-Crawler richten.

Die praktische Anleitung mit Bot-Tabelle, vier Haltungen und Generator steht im Beitrag llms.txt und robots.txt für KI-Crawler. Dieser Eintrag ordnet ein: woher die KI-Regeln kommen, was sie leisten und wohin sich die Datei gerade entwickelt.

Ein Türschild, kein Schloss

Die robots.txt beantwortet genau eine Frage: Darf ein bestimmter Crawler einen bestimmten Pfad abrufen? Der Standard RFC 9309 sagt ausdrücklich, dass die Regeln keine Form der Zugriffskontrolle sind. Ein Crawler, der sie ignoriert, kommt trotzdem an die Inhalte. Wie viel die Datei wert ist, hängt also davon ab, wer sie liest.

Dass das keine Theorie ist, zeigte Cloudflare am 4. August 2025: Laut einer Analyse des Netzwerkbetreibers umging Perplexity Sperren mit nicht deklarierten Crawlern und wechselnden Kennungen. Perplexity hat die Vorwürfe zurückgewiesen. Für Unternehmen heißt das: Die großen Anbieter dokumentieren ihre Crawler und versprechen, sich an die robots.txt zu halten. Wer sicher sperren will, braucht zusätzlich Bot-Management beim Hoster oder CDN.

Die zweite Grenze ist grundsätzlicher. Die robots.txt regelt das Abholen, nicht die Verwendung. Ob ein Anbieter Inhalte, die er für die Suche gecrawlt hat, auch für Training oder KI-Antworten nutzt, steht nicht im ursprünglichen Standard. Genau an dieser Lücke setzen alle neueren Ansätze an.

Drei Generationen von KI-Regeln

Seit 2023 hat sich die robots.txt in drei Schritten von einer Zugangsliste zu einer Nutzungserklärung entwickelt:

Die zweite Generation begann mit Google-Extended im September 2023 und Applebot-Extended im Juni 2024. Die dritte ist in Bewegung: Cloudflare hat 2025 mit der Content Signals Policy ein eigenes Vokabular vorgelegt, das laut ihrer Crawler-Dokumentation bisher kein großer KI-Anbieter auswertet. Mehr Gewicht hat ein gemeinsames Trainings-Token aus dem Umfeld der IETF-Arbeitsgruppe AI Preferences: Am 30. Oktober 2026 kündigten Google, Microsoft und Anthropic an, es zu unterstützen. Google will das ab 2027 tun, Microsoft ab dem 1. Februar 2027. Die Grundlage ist ein Internet-Draft, noch kein Standard.

Ein Beispiel: Training nein, Zitate ja

Ein angenommener Maschinenbauer, maschinenbau-beispiel.de, will in ChatGPT und Perplexity als Quelle auftauchen, seine Fachartikel aber nicht ins Modelltraining geben. Die Kernlogik seiner robots.txt sieht so aus, gekürzt auf das Prinzip:

# Trainings-Crawler und -Token aussperren
User-agent: GPTBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# alle anderen, auch Such- und Antwort-Crawler
User-agent: *
Disallow: /intern/
Allow: /

Zwei Fallstricke stecken in diesem kleinen Beispiel. Erstens folgt ein Crawler nur der Gruppe, die ihn namentlich nennt. Hätte OAI-SearchBot eine eigene Gruppe, würde für ihn die Sperre von /intern/ nicht mehr gelten. Zweitens braucht jeder Anbieter eine eigene Zeile, denn eine Zeile für GPTBot sagt Anthropic oder Perplexity nichts. Die vollständige Liste der Kennungen und fertige Varianten liefert der Generator im oben verlinkten Beitrag.

Wohin sich die Datei entwickelt

Die Nachfrage nach dem Thema ist im deutschsprachigen Raum klein, aber stabil: Suchanfragen wie „robots txt ki“ tauchen laut Google-Ads-Daten erst ab Ende 2025 messbar auf. Die Entwicklung selbst ist dagegen in Bewegung. Drei Linien zeichnen sich ab:

• Von Ja/Nein zu Zwecken: Statt Crawler einzeln zu sperren, erklären Betreiber, wofür ihre Inhalte genutzt werden dürfen. Das ist die Idee hinter Content Signals und AI Preferences.
• Von der Bitte zur Durchsetzung: CDN-Anbieter blockieren KI-Crawler auf Netzwerkebene oder verlangen Geld, etwa über Pay per Crawl.
• Von der Datei zur Plattform-Einstellung: Google verlagert die Steuerung der eigenen KI-Funktionen in die Search Console.

Für das Urheberrecht spielt die Maschinenlesbarkeit eine Rolle: Nach § 44b UrhG ist ein Vorbehalt gegen Text und Data Mining bei Online-Inhalten nur wirksam, wenn er maschinenlesbar erfolgt. Ob eine robots.txt-Zeile dafür im Einzelfall genügt, beschreibt der Eintrag TDM-Vorbehalt.

Die Praxisregel bleibt trotzdem einfach: Wer in KI-Antworten vorkommen will, lässt Such- und Antwort-Crawler herein und entscheidet nur beim Training. Ob Ihre Seiten danach tatsächlich zitiert werden, prüft der KI-Quellen-Check.