KI Maus und Tastatur steuern lassen: Wie funktioniert das?

Grundlage

Was bedeutet „Computer Use“?

Computer Use beschreibt die Fähigkeit eines KI-Agenten, einen Computer über eine Oberfläche zu bedienen, die eigentlich für Menschen gedacht ist. Statt ausschließlich über eine Programmierschnittstelle mit einer Anwendung zu kommunizieren, sieht der Agent den Bildschirm und verwendet Eingaben, die Maus und Tastatur nachbilden.

Das ist besonders interessant, wenn eine Anwendung keine geeignete API besitzt oder mehrere Programme in einem Ablauf zusammenarbeiten müssen. Microsoft beschreibt Computer Use inzwischen ausdrücklich als Werkzeug, mit dem Agenten Websites und Windows-Desktop-Anwendungen über virtuelle Maus- und Tastatureingaben bedienen können. OpenAI verfolgt mit seinem Computer-Using Agent denselben grundlegenden Ansatz.

Ablauf

Wie steuert eine KI Maus und Tastatur?

Die KI erhält zunächst Informationen über den aktuellen Zustand des Computers. Das kann ein Screenshot, eine Reihe von Screenshots oder zusätzlich eine strukturierte Beschreibung der Oberfläche sein. Darauf basierend wird entschieden, welche Aktion als Nächstes nötig ist.

Nach der Aktion wird nicht einfach blind weitergemacht. Ein zuverlässiger Agent prüft erneut, ob tatsächlich das erwartete Fenster geöffnet, das richtige Feld ausgefüllt oder der gewünschte Button aktiviert wurde.

1. Wahrnehmung

Die KI muss den Bildschirm verstehen

Der erste Unterschied zu klassischer Automation liegt in der Wahrnehmung. Ein fest programmiertes Skript kennt beispielsweise eine konkrete Bildschirmposition oder einen bestimmten Selektor. Ein visueller Agent kann dagegen versuchen, aus dem aktuellen Screenshot abzuleiten, was sich gerade auf dem Bildschirm befindet.

Er kann zum Beispiel erkennen, dass links eine Navigation liegt, im Zentrum ein Formular geöffnet ist und rechts unten ein Button mit einer bestimmten Funktion angezeigt wird. Dadurch kann derselbe grundlegende Ansatz auch in unterschiedlichen Anwendungen eingesetzt werden.

Das macht Computer Use flexibel – aber nicht automatisch fehlerfrei. Veränderte Layouts, Pop-ups, Skalierung, Animationen oder schlecht erkennbare Elemente können zu falschen Entscheidungen führen.

2. Maussteuerung

Klicken, Doppelklicken, Ziehen und Scrollen

Hat der Agent entschieden, welches Element relevant ist, kann eine Ausführungsschicht die entsprechende Mausaktion übernehmen. Dazu gehören je nach System nicht nur einfache Klicks, sondern auch Doppelklicks, Rechtsklicks, Scrollen oder Drag-and-drop.

Technisch kann die KI dabei Koordinaten an die Ausführungsumgebung übergeben oder ein zuvor erkanntes Oberflächenelement als Ziel verwenden. Für den Nutzer wirkt das anschließend ähnlich, als würde jemand den Computer tatsächlich mit der Maus bedienen.

3. Tastatur

Texte eingeben und Tastenkombinationen ausführen

Über virtuelle Tastatureingaben können Agenten Texte in Felder schreiben, Suchbegriffe eingeben, Dateinamen vergeben oder Tastenkombinationen ausführen. Damit lassen sich auch Anwendungen bedienen, die keine direkte KI-Integration besitzen.

Gerade in Kombination mit Bildschirmverständnis wird daraus mehr als ein Makro: Der Agent kann zuerst herausfinden, welches Feld gerade aktiv ist, den passenden Inhalt bestimmen, ihn eintragen und anschließend überprüfen, ob die Anwendung die Eingabe akzeptiert hat.

Technik

Maussteuerung oder API: Was ist besser?

Wenn eine stabile Programmierschnittstelle verfügbar ist, ist eine direkte API häufig schneller und zuverlässiger. Ein Agent muss dann nicht erst visuell herausfinden, wo sich ein Button befindet. Er kann die gewünschte Aktion strukturiert an das jeweilige System übergeben.

Computer Use hat dafür einen anderen Vorteil: Es funktioniert grundsätzlich auch mit Software, die nie für KI-Agenten gebaut wurde. Genau deshalb ist die Kombination interessant. Gute Agentensysteme können APIs dort einsetzen, wo sie verfügbar sind, und auf visuelle Computersteuerung zurückgreifen, wenn nur die normale Benutzeroberfläche zur Verfügung steht.

Praxis

Was kann man damit automatisieren?

Microsoft nennt unter anderem Dateneingabe, Rechnungsverarbeitung und Datenextraktion als typische Computer-Use-Einsatzfälle. Das zeigt, dass diese Technik nicht nur für Demonstrationen gedacht ist, sondern zunehmend als allgemeine Automatisierungsschicht betrachtet wird.

Abgrenzung

Warum ist das mehr als ein Maus-Makro?

Ein klassisches Makro führt eine vorher definierte Reihenfolge aus: Maus an Position X, klicken, zwei Sekunden warten, Text eingeben. Wenn sich die Oberfläche verändert, kann die Automatisierung schnell scheitern.

Ein KI-Agent versucht dagegen, den aktuellen Zustand zu interpretieren und daraus den nächsten Schritt abzuleiten. Wenn beispielsweise ein unerwartetes Dialogfenster auftaucht, kann ein guter Agent erkennen, dass sein ursprünglicher Plan angepasst werden muss.

Der Unterschied liegt also weniger in der eigentlichen Mausbewegung als in der Entscheidung darüber, welche Mausbewegung jetzt sinnvoll ist.

Grenzen

Wo liegen heute noch die Probleme?

Computer Use ist leistungsfähig, aber deutlich fehleranfälliger als eine deterministische Schnittstelle. Ein Agent kann ein Element falsch erkennen, einen mehrdeutigen Text interpretieren oder nach einer unerwarteten Änderung der Oberfläche den falschen nächsten Schritt wählen.

Auch Geschwindigkeit ist ein Faktor: Ein Mensch klickt viele bekannte Abläufe in wenigen Sekunden durch. Ein visueller Agent muss möglicherweise nach mehreren Schritten neue Screenshots auswerten und erneut planen.

Deshalb sollte Computer Use nicht mit „die KI kann jetzt jeden Rechner völlig selbstständig bedienen“ gleichgesetzt werden. Die Technologie entwickelt sich schnell, benötigt aber weiterhin Kontrolle und geeignete Sicherheitsgrenzen.

Sicherheit

Warum Berechtigungen wichtiger werden

Sobald ein Agent Maus und Tastatur kontrollieren kann, besitzt er potenziell Zugriff auf dieselben Anwendungen und Daten wie die angemeldete Person. Microsoft weist deshalb ausdrücklich auf Sicherheits- und Datenschutzrisiken bei Computer Use hin.

Für persönliche Assistenten sind klare Grenzen besonders wichtig. Sensible Aktionen sollten beispielsweise eine Bestätigung verlangen, bestimmte Programme oder Daten können vollständig gesperrt werden und Aktionen sollten nachvollziehbar protokolliert werden.

Project Jarvis

Genau diese Ebene bauen wir bei Jarvis auf

Für Project Jarvis ist Computersteuerung ein zentraler Baustein. Die Windows-Anbindung, Mausbewegungen und die Verarbeitung von Bildschirmaufnahmen wurden bereits praktisch umgesetzt. Der nächste Schritt ist nicht einfach „mehr klicken“, sondern die Zuverlässigkeit mehrstufiger Abläufe zu erhöhen.

Langfristig soll Jarvis unterschiedliche Wege kombinieren können: direkte Funktionen für gut definierte Aktionen und visuelle Computersteuerung für Situationen, in denen eine normale Benutzeroberfläche verwendet werden muss.

Mehr dazu: Kann KI meinen PC steuern? →

Fazit

Die Maus ist nur das Werkzeug – entscheidend ist das Verständnis davor

Eine KI kann heute Maus und Tastatur steuern. Der eigentliche technische Fortschritt besteht jedoch nicht darin, einen Mauszeiger automatisch bewegen zu können. Entscheidend ist, dass ein Agent den Bildschirm wahrnimmt, einen nächsten Schritt ableitet, die passende Aktion ausführt und anschließend überprüft, ob sie erfolgreich war.

Damit wird die grafische Benutzeroberfläche selbst zu einer universellen Schnittstelle für KI-Agenten. APIs bleiben weiterhin wichtig und oft zuverlässiger, aber Computer Use eröffnet Automatisierungen auch dort, wo bislang keine spezielle Integration vorhanden war.