Logfile-Analyse für KI-Crawler

Die Webanalyse meldet stabile Besucherzahlen, die Search Console zeigt nichts Auffälliges, und trotzdem bleibt eine Frage offen: Lesen ChatGPT, Claude oder Perplexity Ihre wichtigsten Seiten überhaupt? Die Antwort steht nicht in einem Marketing-Tool, sondern in einer unscheinbaren Textdatei auf Ihrem Server.

Logfile-Analyse für KI-Crawler wertet die Zugriffsprotokolle von Webserver oder CDN gezielt nach Bots von KI-Anbietern aus. Jede Anfrage hinterlässt dort eine Zeile mit IP-Adresse, Zeitpunkt, URL, Statuscode und User-Agent. Daraus lässt sich ablesen, welche KI-Crawler kommen, was sie abrufen und wo sie scheitern, etwa an Fehlerseiten, Firewall-Regeln oder an Inhalten, die erst per JavaScript geladen werden.

Warum GA4 KI-Crawler nicht sieht

Google Analytics 4 und vergleichbare Tools zählen einen Besuch erst, wenn im Browser ein Tracking-Skript läuft. Genau das tun die meisten KI-Crawler nicht. Eine Auswertung von Vercel und MERJ vom 17. Dezember 2024 kam zu dem Ergebnis, dass keiner der großen KI-Crawler JavaScript ausführt, ausdrücklich genannt sind GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Meta-ExternalAgent und Bytespider. Ausnahmen waren Gemini, das die Infrastruktur von Googlebot nutzt, und Applebot.

Für die Messung heißt das: Ein KI-Crawler kann eine Seite hundertfach abrufen, ohne dass in der Webanalyse ein einziger Besuch erscheint. GA4 sieht erst den Menschen, der in einer KI-Antwort auf einen Link klickt, also den LLM-Referral-Traffic. Für die Frage davor, ob eine KI Ihre Seite überhaupt gelesen hat, ist das Server-Log die einzige direkte Quelle.

Dieselbe Auswertung zeigt, warum sich der Blick lohnt: Im Netz von Vercel landeten 34,82 % der Abrufe von ChatGPT-Crawlern auf 404-Seiten und weitere 14,36 % auf Weiterleitungen, bei Claude waren es 34,16 % 404-Abrufe. Googlebot kam auf 8,22 % 404-Abrufe. Wer veraltete URLs nicht sauber weiterleitet, verschenkt also gerade bei KI-Crawlern viele Abrufe.

Welche Bots Sie unterscheiden müssen

„KI-Crawler“ ist ein Sammelbegriff. Für die Auswertung zählt der Zweck, denn ein Abruf für das Modelltraining sagt etwas anderes aus als ein Abruf, weil gerade ein Mensch eine Frage stellt. Die großen Anbieter dokumentieren ihre Bots getrennt:

Der User-Agent ist allerdings nur eine Selbstauskunft. Jeder Scraper kann sich „GPTBot“ nennen. Deshalb gehört zur Auswertung ein Abgleich der IP-Adressen: OpenAI veröffentlicht getrennte Listen für GPTBot, OAI-SearchBot und ChatGPT-User, Perplexity für PerplexityBot und Perplexity-User, Anthropic eine Liste der Quell-IP-Adressen seiner Bots. Für die eigenen Crawler empfiehlt Google einen Reverse-DNS-Abgleich. Zugriffe, deren IP nicht passt, behandeln Sie als Fälschung. Mittelfristig kommt mit Web Bot Auth eine kryptografische Prüfung hinzu.

So gehen Sie vor

Eine typische Logzeile im verbreiteten Combined-Format sieht so aus, hier ein Abruf durch ChatGPT-User:

192.0.2.44 - - [03/Nov/2026:08:14:22 +0100] "GET /ratgeber/wartung/ HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"

1. Logs beschaffen: Access-Logs liegen beim Hoster, auf dem eigenen Server oder beim CDN. Klären Sie Aufbewahrungsdauer und Format. Läuft die Website hinter einem CDN, sieht der Webserver oft nur die Anfragen, die das CDN durchlässt; maßgeblich sind dann die CDN-Logs. IP-Adressen können personenbezogene Daten sein, stimmen Sie Speicherung und Auswertung deshalb mit Ihrem Datenschutz ab.
2. Filtern: Suchen Sie nach den User-Agent-Bezeichnungen aus der Tabelle oben und trennen Sie nach Zweck: Training, Suchindex, Nutzerabruf.
3. Verifizieren: Gleichen Sie die IP-Adressen mit den veröffentlichten Listen ab. Erst danach zählen die Zahlen.
4. Auswerten: Wichtig sind Statuscodes (200, 301, 403, 404), die meistabgerufenen URLs, Abrufe Ihrer wichtigsten Seiten und der Verlauf nach Änderungen an robots.txt, Firewall oder Seitenstruktur.
5. Abgleichen: Passen die Ergebnisse zu Ihrer Absicht? Häufig blockiert eine Bot-Schutzregel im CDN genau den Suchcrawler, den das Marketing eigentlich zulassen will. Ob Ihre robots.txt-Regeln dabei korrekt formuliert sind, prüft der robots.txt-Tester.

Für den Einstieg reichen Kommandozeile oder Tabellenkalkulation. Bei größeren Websites lohnen sich spezialisierte Log-Analyse-Werkzeuge oder die Bot-Auswertungen großer CDN-Anbieter, die Zugriffe bereits nach bekannten Bots gruppieren.

Praxisbeispiel: ein angenommener Maschinenhändler

Ein angenommener Händler für Industriebedarf, beispiel-shop.de, wundert sich, dass ChatGPT bei Fragen nach Wartungsintervallen Wettbewerber zitiert, nie aber den eigenen, ausführlichen Ratgeber. Die Auswertung eines Monats Logs ergibt ein klares Bild (Zahlen fiktiv): GPTBot hat rund 1.200 Seiten abgerufen, OAI-SearchBot nur 40, und zwar ausschließlich Blogartikel. Alle Abrufe von OAI-SearchBot auf den Ratgeber- und Produktseiten enden mit Statuscode 403.

Die Ursache liegt nicht in der robots.txt, sondern in einer Firewall-Regel, die ein Dienstleister vor zwei Jahren für „unbekannte Bots“ angelegt hat. Sie sperrt alles, was nicht Googlebot oder Bingbot heißt. Zusätzlich finden sich rund 300 Abrufe mit dem User-Agent GPTBot von IP-Adressen, die nicht in der Liste von OpenAI stehen, also Scraper unter falschem Namen.

Der Händler nimmt die Adressbereiche von OAI-SearchBot und PerplexityBot in die Ausnahmeliste auf, sperrt die falschen GPTBot-Zugriffe gezielt und richtet für 60 alte Katalog-URLs Weiterleitungen ein. Im Folgemonat zeigt das Log Abrufe von OAI-SearchBot auf dem Ratgeber. Ob ChatGPT ihn künftig zitiert, belegt das Log nicht; es belegt aber, dass die technische Voraussetzung jetzt erfüllt ist. Die Zitierungen selbst messen Sie getrennt, etwa mit Prompt-Tracking.