Kontextfenster

Ein Sprachmodell hat kein Gedächtnis im menschlichen Sinn. Bei jeder Anfrage bekommt es einen Textblock, verarbeitet ihn und schreibt eine Antwort. Wie groß dieser Block höchstens sein darf, legt das Kontextfenster fest. Gemessen wird es in Tokens, den Wortstücken, mit denen Modelle rechnen.

Alles, was das Modell für eine Antwort „weiß“, muss entweder aus dem Training stammen oder in diesem Fenster liegen: Ihre Frage, der bisherige Chat, hochgeladene Dateien, Ergebnisse einer Websuche und die Antwort, die gerade entsteht. Für Unternehmen erklärt das, warum ein Assistent nach einer langen Sitzung frühere Vorgaben ignoriert und warum KI-Suchen mit Textabschnitten statt mit ganzen Websites arbeiten.

Von 2.048 Tokens auf über eine Million

Als OpenAI im Mai 2020 GPT-3 vorstellte, betrug das Kontextfenster 2.048 Tokens, auf Deutsch grob 1.300 Wörter. Ein längerer Vertrag passte nicht hinein. Seitdem ist das Fenster bei führenden Modellen auf rund das Fünfhundertfache gewachsen:

Die Umrechnung in Wörter beruht auf unserer Messung von rund 1,5 Tokens pro deutschem Wort und ist nur eine Größenordnung. Wichtig: Bei vielen Modellen teilen sich Eingabe und Ausgabe dasselbe Fenster. Anthropic beschreibt, dass der gesamte Verlauf plus die neue Antwort hineinpassen muss (Claude-Dokumentation: Context windows).

Die Nachfrage folgt der Entwicklung: Laut Google-Ads-Daten wird in Deutschland nach „kontextfenster“ und „context window“ zusammen 2026 zwischen 390 und 650 Mal im Monat gesucht, mehr als doppelt so oft wie ein Jahr zuvor.

Was im Fenster liegt und was herausfällt

In einem Chat wächst der Inhalt des Fensters mit jeder Runde, denn bei jeder neuen Frage wird der gesamte bisherige Verlauf erneut mitgeschickt. Ist das Fenster voll, muss die Anwendung etwas tun. Anthropic nennt als eine Möglichkeit, dass Chat-Oberflächen nach dem Prinzip „first in, first out“ arbeiten: Die ältesten Teile fallen heraus. Andere Anwendungen fassen den Verlauf zusammen oder brechen mit einer Fehlermeldung ab.

Ein Beispiel aus dem Vertrieb

Die folgende Situation ist erfunden, aber typisch. Eine Vertriebsleiterin lädt eine 80-seitige Ausschreibung in einen KI-Assistenten, lässt sie zusammenfassen, lädt danach die eigene Preisliste hoch und lässt zusätzlich im Web nach Wettbewerbspreisen suchen. Als sie fragt, welche Abgabefrist die Ausschreibung nennt, antwortet der Assistent ausweichend oder nennt ein falsches Datum. Die Ausschreibung ist aus dem Fenster gefallen, das Modell sieht sie nicht mehr und füllt die Lücke im ungünstigen Fall mit einer Halluzination.

Groß heißt nicht gleich gut genutzt

Ein großes Fenster bedeutet nicht, dass das Modell jede Stelle darin gleich aufmerksam liest. Ein Forschungsteam um Nelson F. Liu und Percy Liang zeigte 2023 in der Studie „Lost in the Middle“, dass Modelle Informationen am Anfang und am Ende eines langen Kontexts am besten nutzen. Steht die entscheidende Stelle in der Mitte, sinkt die Trefferquote deutlich (Liu u. a., arXiv 2023). Wie stark der Effekt bei heutigen Modellen ausfällt, unterscheidet sich je nach Modell; als Arbeitsregel bleibt er nützlich.

Daraus ergeben sich drei Arbeitsregeln:

• Wichtiges an die Ränder. Aufgabe und Kernvorgaben gehören an den Anfang, die konkrete Frage ans Ende eines langen Prompts.
• Weniger, aber passend. Zehn relevante Seiten schlagen tausend ungefilterte. Wer das Fenster bewusst bestückt, betreibt Context Engineering.
• Abschnitte statt Komplettdokumente. Für große Wissensbestände ist es meist besser, nur die passenden Stellen abzurufen, statt alles hineinzukippen. Das ist das Prinzip von Retrieval Augmented Generation und Chunking.

Was das Kontextfenster für die KI-Suche bedeutet

Auch KI-Suchen arbeiten innerhalb eines Kontextfensters. Sie legen dem Modell nicht das ganze Web vor, sondern eine Auswahl abgerufener Seiten oder Passagen. Wie viel davon im Einzelnen hineinkommt, dokumentiert kein Anbieter. Google schreibt lediglich, seine Systeme prüften die spezifischen Informationen auf den abgerufenen Seiten, um die Antwort zu erzeugen.

Für Ihre Inhalte folgt daraus keine neue Technik, aber eine bekannte Tugend: Eine Seite, deren Kernaussage früh und klar formuliert ist, lässt sich auch dann verwerten, wenn nur ein Ausschnitt ins Fenster gelangt. Seiten künstlich in Mini-Abschnitte zu zerlegen, ist dagegen nicht nötig; Google rät ausdrücklich davon ab, Inhalte nur für KI-Systeme aufzuteilen. Wie KI-Suchen Quellen auswählen, zeigt der Beitrag Google AI Mode und AI Overviews: So wird Ihre Website zitiert.