JavaScript-Rendering für KI-Crawler

Moderne Websites bauen ihre Inhalte oft erst im Browser zusammen: Der Server schickt ein fast leeres HTML-Gerüst, ein JavaScript-Programm holt danach Texte, Preise und Bilder nach. Man nennt das clientseitiges Rendering. Für Menschen sieht die Seite fertig aus. Für einen Crawler, der kein JavaScript ausführt, bleibt sie leer.

Bei Google ist das seit Jahren gelöst, denn der Googlebot rendert Seiten mit einem aktuellen Chromium. Die neuen KI-Crawler arbeiten anders. Wer in KI-Antworten von ChatGPT, Claude oder Perplexity als Quelle auftauchen will, muss deshalb wissen, was im ausgelieferten HTML steht.

Zwei Arten, eine Seite zu lesen

Ein Crawler kann eine Seite auf zwei Wegen lesen. Entweder nimmt er das HTML, das der Server ausliefert, und wertet es direkt aus. Oder er lädt die Seite wie ein Browser, führt alle Skripte aus und liest erst das Ergebnis. Der zweite Weg heißt Rendering und ist teuer: Er braucht Rechenzeit, Speicher und eine Warteschlange.

Google selbst empfiehlt serverseitiges oder statisches Rendering und bezeichnet das früher verbreitete dynamische Rendering, bei dem Bots eine Sonderversion bekommen, inzwischen als Behelfslösung. Diese Empfehlung passt auch für KI-Crawler.

Welche Crawler JavaScript ausführen

Offizielle Angaben der KI-Anbieter zum Rendering gibt es kaum. Die belastbarste Quelle ist eine Auswertung von Vercel und der SEO-Agentur MERJ, die Abrufe im Vercel-Netz und auf drei Websites mit unterschiedlicher Technik untersucht haben. Das Ergebnis vom Dezember 2024:

• Kein JavaScript-Rendering: die OpenAI-Crawler GPTBot, OAI-SearchBot und ChatGPT-User, ClaudeBot, PerplexityBot, Meta-ExternalAgent, Bytespider und Common Crawl.
• Rendering: der Googlebot, dessen Infrastruktur laut Studie auch Gemini nutzt, sowie Applebot.
• Auffällig: GPTBot und ClaudeBot laden JavaScript-Dateien zwar herunter, führen sie aber nicht aus.

Bing rendert Seiten seit Oktober 2019 mit der Edge-Engine, wie Microsoft im Bing Webmaster Blog angekündigt hat. Das betrifft alles, was auf dem Bing-Index aufbaut, etwa Microsoft Copilot.

Ein typischer Fall aus dem Mittelstand

Ein fiktives Beispiel: Ein Hersteller von Industriepumpen hat einen Produktfinder als Single-Page-App gebaut. Datenblätter, Fördermengen und Preise lädt die App nach dem Seitenaufruf aus einer Schnittstelle. Google indexiert die Produktseiten korrekt, im KI-Modus wird der Hersteller zitiert.

Fragt ein Einkäufer ChatGPT nach einer Pumpe mit bestimmter Fördermenge, taucht der Hersteller nicht auf. Der Grund: Die Crawler von OpenAI sehen auf jeder Produktseite nur Seitentitel, Menü und den Platzhalter „Produkt wird geladen …“. Die Fakten, die eine Empfehlung tragen würden, kommen bei ihnen nie an.

Typische Stellen, an denen Inhalte so verschwinden:

• Produktdetails, Preise und Lieferzeiten aus einer Schnittstelle
• Ratgeber- oder FAQ-Bereiche, die erst beim Aufklappen nachgeladen werden
• Bewertungen und Testimonials aus Widgets von Drittanbietern
• Per JavaScript eingefügte strukturierte Daten, die Google liest, Crawler ohne Rendering aber nicht

Prüfen und beheben

Ob Ihre Website betroffen ist, lässt sich ohne Spezialwerkzeug prüfen. Am einfachsten rufen Sie eine Seite so ab, wie es ein Crawler ohne Rendering tut, und suchen im Ergebnis nach einem Satz aus dem Haupttext:

curl -s -A "GPTBot" https://www.beispiel-firma.de/produkte/pumpe-x200/ \
  | grep -c "Fördermenge"

# 0 = Text fehlt im ausgelieferten HTML

Ohne Kommandozeile geht es mit „Seitenquelltext anzeigen“ im Browser oder mit dem KI-Website-Check. Fehlt der Kerninhalt, gibt es drei Wege, sortiert nach Aufwand:

1. Wichtige Inhalte ins HTML holen: Haupttext, Preise und FAQ direkt ausliefern, interaktive Extras dürfen weiter per JavaScript kommen.
2. Auf SSR oder statische Erzeugung umstellen: Frameworks wie Next.js, Nuxt oder Astro bieten das eingebaut, oft ist es eine Konfigurationsfrage.
3. Prerendering als Übergang: Ein Dienst liefert Bots eine vorab gerenderte Fassung. Google nennt das selbst nur eine Behelfslösung, die Inhalte müssen identisch bleiben.

Dazu gehört, dass die Crawler die Seite überhaupt abrufen dürfen. Wie Sie das in der robots.txt steuern, erklärt der Beitrag llms.txt und robots.txt für KI-Crawler.