Embedding

Computer können Wörter nicht verstehen, aber sie können sehr gut mit Zahlen rechnen. Ein Embedding übersetzt deshalb einen Text in eine lange Zahlenreihe, einen Vektor. Die Werte sind so gelernt, dass Texte mit ähnlicher Bedeutung ähnliche Vektoren bekommen. „Strom vom eigenen Dach“ und „Photovoltaikanlage“ landen nah beieinander, obwohl sie kein Wort teilen.

Für Unternehmen bleibt das meist unsichtbar, wirkt aber an vielen Stellen: in der semantischen Suche, in KI-Suchen, die zu einer Frage passende Textstellen finden, und in internen Assistenten, die auf Firmendokumente zugreifen.

Wie aus Bedeutung Zahlen werden

Ein Embedding-Modell ist ein neuronales Netz, das mit großen Textmengen trainiert wurde. Es hat gelernt, welche Wörter und Formulierungen in ähnlichen Zusammenhängen vorkommen. Aus einem Eingabetext erzeugt es eine feste Anzahl von Zahlenwerten, die Dimensionen. Googles aktuelle Gemini-Embedding-Modelle liefern standardmäßig 3.072 Werte pro Text; Google empfiehlt 768, 1.536 oder 3.072 Dimensionen, kleinere Varianten sparen Speicher bei geringem Qualitätsverlust (Gemini-API: Embeddings).

Die einzelnen Zahlen haben keine lesbare Bedeutung. Entscheidend ist die Lage der Vektoren zueinander. Wie ähnlich zwei Texte sind, misst man meist mit der Kosinus-Ähnlichkeit: Sie vergleicht die Richtung zweier Vektoren und liegt bei sehr ähnlicher Bedeutung nahe 1. Google zeigt in seiner Dokumentation genau dieses Verfahren für den Vergleich von Sätzen.

Bekannt wurde das Prinzip 2013 mit word2vec. Das Paper eines Google-Teams um Tomas Mikolov verweist auf das inzwischen klassische Beispiel, dass der Vektor von „King“ minus „Man“ plus „Woman“ am nächsten beim Vektor von „Queen“ liegt. Bedeutungsbeziehungen lassen sich also tatsächlich als Rechenoperation abbilden.

Wo Embeddings in der Suche stecken

Die Google-Suche arbeitet seit Jahren mit Bedeutungsrepräsentationen. Google beschreibt RankBrain (2015) als System, das versteht, wie Wörter mit Konzepten zusammenhängen, und Neural Matching (2018) als Technik, die auch unscharf beschriebene Konzepte in Suchanfragen und Seiten einander zuordnet, statt nur Schlüsselwörter abzugleichen (Google-Blog: How AI powers great search results).

In KI-Suchen und RAG-Systemen sind Embeddings ein Kernbaustein des Abrufs. Dokumente werden vorab in Abschnitte zerlegt, jeder Abschnitt bekommt ein Embedding, gespeichert in einer Vektordatenbank. Kommt eine Frage, wird auch sie in einen Vektor übersetzt, und das System sucht die Abschnitte mit den ähnlichsten Vektoren. Wie groß diese Abschnitte sind, regelt das Chunking.

Embeddings selbst nutzen

Embeddings sind kein exklusives Werkzeug der Suchmaschinen. Über die Schnittstellen von Google, OpenAI und anderen Anbietern kann jedes Unternehmen Texte in Vektoren umwandeln, für wenig Geld und ohne eigenes Training. Typische Einsätze im Marketing:

Ein Beispiel aus der Haustechnik

Zur Veranschaulichung, kein echter Fall: Ein Haustechnik-Betrieb lässt seine 140 Blogartikel und 2.000 Suchbegriffe aus der Search Console in Embeddings umwandeln. Die Gruppierung zeigt, dass sieben Artikel fast dieselbe Frage zur Wärmepumpen-Förderung beantworten, während es zum Thema Notdienst keinen einzigen gibt, obwohl Kunden danach suchen. Ergebnis: drei Artikel zusammenführen, einen neuen schreiben. Die Analyse dauert Stunden statt Wochen, die redaktionelle Entscheidung bleibt beim Menschen.

Wichtig für die Auswahl: Vektoren verschiedener Modelle sind nicht miteinander vergleichbar. Wer wechselt, muss alle Texte neu umwandeln. Für deutschsprachige Inhalte lohnt ein kurzer Test, ob das gewählte Modell Fachbegriffe Ihrer Branche sinnvoll gruppiert.

Was Embeddings nicht leisten

So nützlich die Technik ist, sie hat klare Grenzen, die man bei jeder Anwendung im Blick behalten sollte:

• Ähnlich heißt nicht richtig. Ein Embedding sagt, worum es in einem Text geht, nicht, ob er stimmt oder aktuell ist. Eine veraltete Preisliste liegt genauso nah an der Frage nach Preisen wie die aktuelle.
• Exakte Begriffe sind eine Schwachstelle. Artikelnummern, Normbezeichnungen oder seltene Produktnamen findet eine klassische Stichwortsuche oft zuverlässiger. Viele Suchsysteme kombinieren deshalb beide Verfahren.
• Das Modell kennt nur seine Trainingszeit. Begriffe, die erst danach entstanden sind, bildet es schlechter ab.
• Daten verlassen das Haus. Wer Texte über eine Schnittstelle umwandeln lässt, übermittelt sie an den Anbieter. Für vertrauliche Dokumente gehören Vertrag und Datenschutz vorab geprüft.