Computer Use

Die meisten Programme und Websites sind für Menschen gebaut, nicht für Maschinen. Wo es keine Schnittstelle gibt, kommt ein KI-Agent nicht an Daten oder Funktionen heran. Computer Use umgeht dieses Problem auf die direkteste Art: Das Modell sieht den Bildschirm und bedient ihn selbst, Klick für Klick.

Der Begriff stammt von Anthropic, hat sich aber als Gattungsbegriff durchgesetzt. Heute bieten alle großen Modellanbieter die Technik an. Sie steckt hinter vielen Produkten, die als „Agent“ oder „Agentenmodus“ vermarktet werden, und in KI-Browsern, die Aufgaben auf Websites selbst erledigen.

Die Schleife: Bildschirmfoto, Entscheidung, Aktion

Computer Use funktioniert als Wiederholung immer gleicher Schritte. Das Modell bekommt ein Bildschirmfoto, entscheidet über die nächste Aktion und gibt sie als Befehl aus, etwa „Klick auf Position x, y“ oder „Tippe Text“. Eine Software führt den Befehl in einer Umgebung aus, die der Betreiber kontrolliert, und schickt ein neues Bildschirmfoto zurück. Dann beginnt die nächste Runde.

• Sehen: Das Modell liest Texte, Buttons und Formularfelder aus dem Bild, nicht aus dem Quellcode der Seite.
• Entscheiden: Es plant, welcher Schritt dem Ziel näherkommt, und erkennt, ob der letzte Schritt funktioniert hat.
• Handeln: Mausbewegung, Klick, Tastatureingabe, Scrollen. Anthropic stellt dafür inzwischen ein Werkzeugpaket mit 17 Einzelbefehlen bereit, darunter Bildschirmfoto, Klick, Tippen und Zoomen (Claude-Dokumentation).

Daraus folgen die typischen Stärken und Schwächen. Computer Use funktioniert mit fast jeder Oberfläche, auch mit alter Software ohne Schnittstelle. Jede Runde kostet aber Zeit und Rechenleistung, und jede Fehldeutung eines Bildes kann einen falschen Klick auslösen.

Wer Computer Use anbietet

Für Nutzer steckt die Technik meist unsichtbar in Produkten. Wer einen Agenten bittet, „auf der Website des Herstellers einen Termin anzufragen“, setzt fast immer Computer Use oder einen engen Verwandten ein, den Browser-Agenten, der nur innerhalb eines Browserfensters arbeitet.

Grenzen und Risiken

Die größte Gefahr ist nicht der falsche Klick, sondern die falsche Anweisung. Anthropic warnt in der Dokumentation, dass Claude unter Umständen Befehlen folgt, die in Inhalten stehen, etwa auf Webseiten oder in Bildern, auch wenn sie den Vorgaben des Nutzers widersprechen. Diese Angriffsform heißt Prompt Injection.

Die Empfehlungen der Anbieter sind deshalb deutlich: eine eigene virtuelle Maschine mit minimalen Rechten, keine Zugangsdaten zu sensiblen Konten, Internetzugang nur zu freigegebenen Domains und eine menschliche Bestätigung vor Schritten mit Folgen, also Käufen, dem Akzeptieren von Bedingungen und sogar Cookie-Einwilligungen. Das ist Human in the Loop als Sicherheitsprinzip.

Was das für Ihre Website bedeutet

Ein Agent mit Computer Use erlebt Ihre Website ähnlich wie ein ungeduldiger Mensch mit schlechter Brille. Alles, was Menschen ausbremst, bremst auch ihn: überlagernde Banner, unklar beschriftete Buttons, Formulare, die Fehler erst nach dem Absenden melden, mehrstufige Pop-ups.

Eine zweite Folge betrifft Ihre Auswertung. Agenten mit Computer Use arbeiten meist in einem gewöhnlichen Browserfenster, oft auf einem Rechner in einem Rechenzentrum. In Webanalyse und Logdateien sind sie deshalb nicht immer eindeutig als KI-Besuch zu erkennen. Das ist eine Einschätzung aus der Funktionsweise, keine Herstellerangabe. Ungewöhnlich zielstrebige Sitzungen ohne Scrollen und mit sehr schnellen Formulareingaben können ein Hinweis sein, ein Beweis sind sie nicht.

Daraus ergibt sich eine unspektakuläre, aber wirksame Empfehlung: Gute Nutzerführung und Barrierefreiheit zahlen sich doppelt aus. Wer weitergehen will, bietet Agenten zusätzlich strukturierte Wege an, etwa über WebMCP oder offene Schnittstellen. Was eine agentenfähige Website ausmacht, ist ein eigenes Thema; Computer Use ist der Fall, in dem es diese Wege nicht gibt.