Applebot-Extended

Apple betreibt mit Applebot einen eigenen Webcrawler. Was er einsammelt, speist die Suche in Spotlight, Siri und Safari, und seit 2024 auch das Training der Modelle hinter Apple Intelligence. Applebot-Extended ist die Kennung, mit der Sie in der robots.txt nur den zweiten Teil abbestellen: das Training.

Das klingt nach einer Variante der bekannten KI-Crawler, funktioniert aber anders. Applebot-Extended besucht keine einzige Seite. Die Kennung ist ein Schild, das Apple liest, bevor es die bereits gecrawlten Daten weiterverwendet. Wer das verstanden hat, vermeidet zwei typische Fehler: unnötig die Apple-Suche zu sperren oder zu glauben, mit einer Zeile sei jede KI-Nutzung durch Apple ausgeschlossen.

Ein Crawler, mehrere Verwendungen

Apple trennt nicht beim Abholen, sondern bei der Verwendung. Applebot crawlt eine Seite einmal, danach entscheiden Ihre Signale, wofür die Daten genutzt werden dürfen. Die aktuelle Fassung der Apple-Dokumentation (Stand 4. September 2026) unterscheidet drei Verwendungen mit jeweils eigenem Schalter:

Laut Apple berücksichtigt die Apple-Suche Regeln für Applebot-Extended beim Ranking nicht. Wer das Training sperrt, bleibt also in Spotlight und Siri auffindbar. Umgekehrt gilt: Eine Trainingssperre allein verhindert nicht, dass Siri Ihre Inhalte als aktuellen Kontext für eine KI-Antwort heranzieht. Das ist der Unterschied zwischen Trainingsdaten und Grounding, den Apple hier sauber abbildet.

Wie die Kennung in die robots.txt kam

Applebot ist älter als der KI-Boom und diente lange nur der Suche. Mit Apple Intelligence änderte sich das. Die wichtigsten Stationen:

• 10. Juni 2024: Zur WWDC schreibt Apple, die Foundation-Modelle seien unter anderem mit öffentlich verfügbaren Daten des Applebot trainiert, und Publisher könnten die Nutzung für das Training mit einer „data usage control“ ablehnen. Die Support-Seite nennt dafür Applebot-Extended.
• Frühjahr 2025: Apple Intelligence kommt in die EU und spricht Deutsch. Damit betrifft die Trainingsfrage auch deutsche Websites, deren Inhalte in Apple-Produkten genutzt werden.
• 2026: Apple erweitert die Dokumentation um KI-Antworten mit Quellenlinks in Siri und Suche, um nosnippet als Abschalter dafür, um die Bezahlinhalt-Regel und um den X-Robots-Tag-Header.

Applebot-Extended folgt damit dem Muster, das Google im September 2023 mit Google-Extended eingeführt hat: ein Steuerungstoken ohne eigenen Crawler, das nur die Weiterverwendung regelt. Die Logik ist bei beiden gleich, die Folgen für KI-Antworten unterscheiden sich im Detail. Ein Blick in die jeweilige Dokumentation lohnt sich deshalb vor jeder Sperre.

Ein Beispiel aus der Praxis

Ein angenommener Fachverlag für Arbeitssicherheit, fachverlag-beispiel.de, verkauft Leitfäden und lebt von Reichweite. Er will nicht, dass Apple seine Texte ins Modelltraining übernimmt, möchte aber in Spotlight und Siri gefunden werden. Seine kostenpflichtigen Leitfäden sollen zudem nicht als Futter für KI-Antworten dienen. Die passende Kombination:

# robots.txt: Training durch Apple ablehnen
User-agent: Applebot-Extended
Disallow: /

# Suche durch Applebot ausdrücklich erlauben
User-agent: Applebot
Allow: /

Für die Leitfäden setzt der Verlag zusätzlich isAccessibleForFree: false in die strukturierten Daten. Die frei zugänglichen Ratgeberartikel bleiben ohne nosnippet, weil sie als Quelle in KI-Antworten Besucher bringen können. Eine eigene Applebot-Gruppe ist sinnvoll, weil Apple sonst bei fehlenden Applebot-Regeln den Anweisungen für Googlebot folgt.

Wie Sie alle KI-Kennungen in einer robots.txt zusammenführen und welche Haltung für welche Website passt, zeigt der Beitrag llms.txt und robots.txt für KI-Crawler mit Generator.

Was die Sperre nicht leistet

Applebot-Extended ist ein Signal an ein einzelnes Unternehmen, kein technischer Schutz. Vier Grenzen sollten Sie kennen, bevor Sie die Zeile als Lösung verbuchen:

1. Nur Apple: Für OpenAI, Anthropic, Google oder Common Crawl brauchen Sie eigene Einträge. Das gemeinsame Trainings-Token, das Google, Microsoft und Anthropic im Oktober 2026 angekündigt haben, erwähnt Apples Dokumentation bisher nicht.
2. Nur Training: KI-Antworten in Siri und Suche regelt nosnippet. Das Tag entfernt aber auch die Beschreibung in Apples Suchtreffern, übrig bleibt dort nur der Seitentitel.
3. Keine Aussage zur Vergangenheit: Apple dokumentiert nicht, ob ein späteres Verbot bereits trainierte Modelle betrifft.
4. Kein Rankingvorteil: Wer das Training erlaubt, wird in der Apple-Suche nicht besser gelistet. Apple schreibt nur, die Freigabe helfe, die eigenen Modelle zu verbessern.

Für die meisten Mittelständler ist die Entscheidung deshalb eine Grundsatzfrage zum Umgang mit KI-Training, keine Sichtbarkeitsfrage. Ob Ihre Seiten für KI-Dienste überhaupt erreichbar sind, prüft der KI-Website-Check.