llms.txt und robots.txt für KI-Crawler: Generator und Anleitung

Zwei Textdateien entscheiden darüber, was ChatGPT, Claude, Perplexity und Google mit Ihrer Website machen dürfen – und die meisten Unternehmen haben beide nie angefasst. Dieser Beitrag erklärt, was llms.txt wirklich leistet, welche KI-Bots es 2026 gibt und welche Sie besser nicht aussperren. Mit dem Generator erzeugen Sie beide Dateien in wenigen Minuten.

llms.txt- und robots.txt-Generator

Tragen Sie Ihre Angaben ein – die fertigen Dateien entstehen sofort und lassen sich kopieren. Für die robots.txt wählen Sie vorab eine von vier Haltungen; die Bot-Listen dahinter entsprechen dem Stand vom September 2026.

Was llms.txt ist – und was nicht

Die Idee stammt von Jeremy Howard, dem Mitgründer von fast.ai und Answer.AI, und wurde am 3. September 2024 veröffentlicht. Im August 2026 ist Version 2 der Spezifikation erschienen. Der Gedanke dahinter: Sprachmodelle haben ein begrenztes Kontextfenster, und eine HTML-Seite mit Navigation, Cookie-Banner und Skripten ist für sie schlecht verwertbar. Eine llms.txt ist deshalb eine kuratierte Landkarte Ihrer Website in Markdown – klein genug, dass ein Assistent sie komplett liest, und mit Links zu den Seiten, die er dann gezielt abrufen kann.

Das häufigste Missverständnis: llms.txt ist keine Zugriffssteuerung. Sie sperrt nichts aus und erlaubt nichts. Wer bestimmen will, welcher KI-Dienst lesen darf, braucht die robots.txt. Die llms.txt ist reine Inhaltsaufbereitung – ein Serviceangebot, kein Türsteher.

Häufig zusammen genannt wird llms-full.txt, eine Datei mit dem kompletten Volltext der Dokumentation. Die kommt in der Spezifikation gar nicht vor; sie ist eine Konvention aus der Werkzeugwelt und widerspricht der Grundidee, die Datei klein zu halten.

Lohnt sich llms.txt für Ihre Website?

Hier lohnt sich Ehrlichkeit, weil im Netz viel Gegenteiliges steht. Der Stand im September 2026:

• Google ignoriert die Datei – dokumentiert. In der Dokumentation zur generativen Suche schreibt Google seit Mai 2026 wörtlich, dass keine zusätzlichen maschinenlesbaren Dateien nötig sind und dass eine llms.txt der Sichtbarkeit in der Google-Suche weder schadet noch nützt, weil die Suche sie ignoriert.
• OpenAI nutzt sie selbst, verspricht aber nichts. OpenAI veröffentlicht eine llms.txt für die eigene Entwicklerdokumentation. Dass GPTBot oder OAI-SearchBot fremde llms.txt-Dateien bevorzugt auswerten, steht nirgends in der Dokumentation.
• Für andere Anbieter gibt es keine Zusage. Weder Anthropic noch Perplexity, Microsoft oder Apple haben öffentlich erklärt, die Datei beim Crawling auszuwerten.
• Es gibt keine belastbare Studie, die einen Sichtbarkeits- oder Traffic-Gewinn durch llms.txt nachweist.
• Verbreitung: Das größte Community-Verzeichnis listet rund 4.000 Websites – gemessen am Web ist das nichts, und die Einträge sind selbst gemeldet.

Meine Einschätzung daraus: Für Dokumentations-, Software- und Entwicklerseiten ist der Nutzen real, weil Programmierassistenten diese Dateien tatsächlich abrufen. Für eine normale Firmen- oder Beratungswebsite ist llms.txt ein günstiges Vielleicht: eine halbe Stunde Aufwand, null Risiko, unbewiesener Nutzen. Wer die Zeit hat, macht es. Wer priorisieren muss, investiert sie besser in saubere HTML-Struktur, gute Inhalte und eine korrekte robots.txt.

Die KI-Crawler 2026 im Überblick

Der entscheidende Unterschied, den fast alle Anleitungen im Netz verschweigen: Es gibt drei Sorten von KI-Bots, und sie zu sperren hat völlig unterschiedliche Folgen. Trainings-Crawler sammeln Material für das nächste Modell – sie zu sperren kostet keine Sichtbarkeit. Such- und Antwort-Bots bauen den Index auf, aus dem heute zitiert wird – sie zu sperren kostet genau die Zitate, um die es beim Thema KI-Sichtbarkeit geht. Und nutzerausgelöste Abruf-Bots holen eine Seite, weil gerade jemand danach gefragt hat.

robots.txt richtig schreiben

Die robots.txt liegt im Stammverzeichnis Ihrer Domain und steuert das Crawling – nicht die Indexierung. Vier Felder werden von Google unterstützt: User-agent, Disallow, Allow und Sitemap. Alles andere ignoriert Google.

• Ein Bot liest genau eine Gruppe. Findet ein Crawler eine Gruppe mit seinem Namen, gilt nur diese – die allgemeine Gruppe für alle Bots ist für ihn dann irrelevant. Wer für GPTBot eine eigene Gruppe anlegt, muss dort auch alle anderen Regeln wiederholen.
• Die längere Regel gewinnt. Bei Konflikten entscheidet die spezifischere, also längere Pfadangabe. Sind beide gleich lang, gewinnt die weniger einschränkende – also Allow.
• Groß- und Kleinschreibung zählt bei Pfaden, nicht bei den Feldnamen. Der Bot-Name selbst wird ohne Rücksicht auf Groß- und Kleinschreibung erkannt.
• Zwei Platzhalter sind erlaubt: das Sternchen für beliebige Zeichenfolgen und das Dollarzeichen für das Zeilenende.
• Die Datei darf maximal 500 Kibibyte groß sein. Alles darüber wird abgeschnitten.
• Disallow ist kein Schutz. Gesperrte Seiten können trotzdem im Index landen, wenn andere darauf verlinken. Wer eine Seite sicher heraushalten will, nutzt noindex – und darf die Seite dann gerade nicht per robots.txt sperren, weil die Anweisung sonst nie gelesen wird.

Welche Haltung passt zu Ihnen?

Vier Varianten deckt der Generator ab. Die Entscheidung ist weniger technisch als strategisch:

1. Alle erlauben. Sie wollen in KI-Antworten vorkommen und haben keine urheberrechtlichen Bedenken. Für die meisten Dienstleister und Mittelständler ist das die richtige Wahl – Sichtbarkeit schlägt Kontrollgefühl.
2. Training sperren, Antwortdienste erlauben. Der ausgewogene Standard: Ihre Inhalte fließen nicht ins nächste Modelltraining, werden aber weiter zitiert und verlinkt. Ob das Sperren rechtlich als Nutzungsvorbehalt im Sinne von Paragraf 44b Urheberrechtsgesetz ausreicht, ist nicht abschließend geklärt – wer darauf Wert legt, ergänzt einen Vorbehalt im Impressum.
3. Alles sperren. Sinnvoll bei Inhalten, deren Wert in der Exklusivität liegt – Fachverlage, Datenbanken, kostenpflichtige Recherchen. Sie verzichten dann bewusst auf Zitate in ChatGPT, Claude, Perplexity und DuckAssist.
4. Shop-Variante. Warenkorb, Kasse, Konto und interne Suchergebnisse bleiben für alle gesperrt, Trainings-Crawler ebenfalls, Antwortdienste dürfen die Produktseiten lesen.

Sechs Fehler, die ich immer wieder sehe

• Googlebot mitsperren. Wer „alle KI-Bots" blockieren will und Googlebot in die Liste nimmt, schaltet seine Google-Sichtbarkeit ab.
• Eine eigene Bot-Gruppe anlegen und die allgemeinen Regeln vergessen. Der Bot liest nur seine Gruppe – alle anderen Sperren gelten für ihn dann nicht.
• Disallow statt noindex. Für „soll nicht in Google erscheinen" ist die robots.txt das falsche Werkzeug.
• Testumgebung mit Disallow schützen. Eine gesperrte Staging-Seite ist trotzdem öffentlich erreichbar. Dafür gibt es Passwortschutz.
• Die Datei nach einem Relaunch nicht prüfen. Das klassische „Disallow: /" aus der Entwicklungsphase überlebt erstaunlich oft den Livegang.
• llms.txt anlegen und die robots.txt vergessen. Die eine steuert nichts, die andere alles.

Häufige Fragen

Was ist llms.txt?

llms.txt ist eine Textdatei im Stammverzeichnis einer Website, die in Markdown eine kuratierte Landkarte der wichtigsten Inhalte enthält – eine Überschrift mit dem Namen, ein Zitatblock mit einer Kurzbeschreibung und Linklisten mit Erläuterungen. Der Vorschlag stammt von Jeremy Howard und wurde am 3. September 2024 veröffentlicht; im August 2026 ist Version 2 erschienen. Wichtig: llms.txt sperrt nichts aus und erlaubt nichts – dafür ist die robots.txt zuständig.

Brauche ich eine llms.txt?

Für Dokumentations-, Software- und Entwicklerseiten ist der Nutzen real, weil Programmierassistenten die Datei tatsächlich abrufen. Für eine normale Firmenwebsite ist sie ein günstiges Vielleicht: eine halbe Stunde Aufwand, kein Risiko, aber auch kein belegter Sichtbarkeitsgewinn. Google hat im Mai 2026 ausdrücklich dokumentiert, dass die Suche llms.txt ignoriert – es schadet weder noch hilft es.

Wertet Google die llms.txt aus?

Nein. In der offiziellen Dokumentation zur generativen Suche schreibt Google, dass keine maschinenlesbaren Zusatzdateien nötig sind und dass das Anlegen einer llms.txt der Sichtbarkeit in der Google-Suche weder schadet noch nützt, weil die Suche solche Dateien ignoriert. Auch für die KI-Übersichten und den KI-Modus nennt Google keine zusätzlichen Anforderungen.

Wie sperre ich ChatGPT aus?

Über die robots.txt, und zwar getrennt nach Zweck. Ein Eintrag für GPTBot mit Disallow verhindert die Nutzung Ihrer Inhalte für das Modelltraining. Wenn Sie zusätzlich OAI-SearchBot sperren, erscheint Ihre Seite nicht mehr in den Suchantworten von ChatGPT – das kostet Sichtbarkeit. Die meisten Unternehmen wollen genau das Gegenteil: Training aus, Antwortdienste an.

Schadet es meiner Sichtbarkeit, wenn ich KI-Bots sperre?

Das hängt vom Bot ab. Reine Trainings-Crawler wie GPTBot, ClaudeBot oder CCBot zu sperren, ändert an Ihrer Sichtbarkeit in KI-Antworten nichts. Antwort- und Suchbots wie OAI-SearchBot, Claude-SearchBot, PerplexityBot oder DuckAssistBot zu sperren, kostet dagegen genau die Zitate, um die es beim Thema KI-Sichtbarkeit geht. Googlebot zu sperren ist der teuerste Fehler: Damit verlieren Sie die Google-Suche und die KI-Übersichten gleichzeitig.

Wo lege ich robots.txt und llms.txt ab?

Beide Dateien gehören ins Stammverzeichnis der Domain, also unter ihre-domain.de/robots.txt und ihre-domain.de/llms.txt. Bei WordPress erzeugen SEO-Plugins die robots.txt meist virtuell – dann bearbeiten Sie sie im Plugin statt per FTP. Prüfen Sie das Ergebnis danach im robots.txt-Bericht der Google Search Console.

Reicht robots.txt, um Inhalte aus Suchmaschinen herauszuhalten?

Nein. Die robots.txt steuert nur das Crawling, nicht die Indexierung. Eine per Disallow gesperrte Seite kann trotzdem in den Ergebnissen auftauchen, wenn andere Seiten darauf verlinken. Wer eine Seite sicher aus dem Index halten will, braucht ein noindex im Meta-Tag oder im HTTP-Header – und darf die Seite dafür gerade nicht per robots.txt sperren, weil die Anweisung sonst nie gelesen wird.