Jarvis selber bauen: Wie entsteht ein echter persönlicher KI-Assistent?

Grundidee

Was bedeutet „einen Jarvis bauen“ überhaupt?

Der Begriff wird heute für sehr unterschiedliche Projekte verwendet. Manche „Jarvis“-Assistenten reagieren auf ein Wake-Word, lesen Wetter oder Termine vor und beantworten Fragen. Andere Systeme gehen deutlich weiter: Sie können Dateien öffnen, Programme bedienen, Informationen aus mehreren Quellen kombinieren oder mehrstufige Aufgaben ausführen.

Für einen wirklich persönlichen Assistenten ist deshalb weniger der Name entscheidend als die Architektur dahinter. Ein System sollte nicht nur Sprache erzeugen, sondern auch erkennen können, welche Aktion gemeint ist, welches Werkzeug dafür verwendet werden darf und welcher Kontext aus früheren Interaktionen relevant ist.

Architektur

Die wichtigsten Bausteine eines eigenen Jarvis

Je nach Ziel können einzelne Komponenten sehr einfach oder sehr komplex ausfallen. Für einen Assistenten, der nur Fragen beantwortet, reicht bereits ein Modell mit Oberfläche. Sobald er den PC bedienen oder selbstständig Aufgaben ausführen soll, kommen deutlich mehr Ebenen hinzu.

1. Gehirn

Sprachmodell: lokal, Cloud oder hybrid

Das Sprachmodell übernimmt das Verstehen natürlicher Sprache, Schlussfolgerungen und häufig auch die Auswahl von Werkzeugen. Es kann lokal auf dem eigenen Rechner laufen oder über eine externe API angesprochen werden.

Lokale Modelle lassen sich beispielsweise über Ollama in eigene Anwendungen integrieren. Sie bieten Kontrolle über die Ausführung und können auch ohne permanente Verbindung zu einem externen Modellanbieter arbeiten. Cloud-Modelle sind dagegen häufig leistungsfähiger bei komplexen Aufgaben oder großen Kontextmengen. Ein hybrider Aufbau kann je nach Aufgabe zwischen beiden Varianten wählen.

Wichtig ist: Das Sprachmodell ist nicht der Assistent selbst. Es liefert Entscheidungen und Text – die eigentlichen Fähigkeiten entstehen erst durch die Komponenten darum herum.

2. Sprache

Wake-Word, Speech-to-Text und Sprachausgabe

Für einen Assistenten, mit dem man natürlich sprechen möchte, werden mindestens drei zusätzliche Teile benötigt: eine Aktivierung, eine Spracherkennung und eine Sprachausgabe.

Open-Source-Projekte kombinieren dafür heute beispielsweise Whisper-basierte Spracherkennung, Ollama und lokale TTS-Systeme. Damit lässt sich bereits ein vollständig lokaler Sprachdialog aufbauen. Für einen handlungsfähigen Assistenten fehlen dann aber noch Werkzeuge und Zustandsverwaltung.

3. Gedächtnis

Memory: Damit der Assistent nicht bei jeder Unterhaltung bei null beginnt

Ein persönlicher Assistent wird erst dann wirklich persönlich, wenn er relevante Informationen über längere Zeit behalten kann. Dazu gehören beispielsweise bevorzugte Programme, Gerätenamen, wiederkehrende Abläufe oder der Kontext eines laufenden Projekts.

Ein sinnvolles Memory-System speichert aber nicht einfach jede Unterhaltung ungefiltert. Es muss entscheiden, was langfristig relevant ist, wie Informationen aktualisiert werden und welche Daten überhaupt gespeichert werden dürfen. Häufig werden dafür klassische Datenbanken mit semantischer Suche oder Vektorspeichern kombiniert.

4. Werkzeuge

Tools machen aus einem Chatbot einen handelnden Assistenten

Ein Modell kann eine Aufgabe verstehen, aber ohne angebundene Funktionen nicht automatisch den Kalender öffnen, Dateien suchen oder Geräte steuern. Dafür benötigt es definierte Werkzeuge.

Ein Tool kann zum Beispiel eine Funktion sein wie Kalendereintrag erstellen, Datei suchen, Wetter abrufen oder PC herunterfahren. Der Agent entscheidet anhand der Anfrage, welches Werkzeug verwendet werden soll und mit welchen Parametern.

Der Vorteil definierter Tools: Sie sind kontrollierbarer als blindes Klicken. Der Nachteil: Für jede Anwendung oder Fähigkeit muss eine geeignete Schnittstelle vorhanden sein.

5. Computersteuerung

Wie bekommt Jarvis Maus, Tastatur und Bildschirm?

Wenn der Assistent nicht nur speziell vorbereitete Funktionen aufrufen, sondern beliebige Desktop-Anwendungen bedienen soll, braucht er eine Computer-Use-Schicht. Sie stellt Informationen über den aktuellen Bildschirm bereit und führt Aktionen wie Mausbewegungen, Klicks oder Tastatureingaben aus.

Technisch gibt es mehrere Ansätze: direkte Betriebssystem- und Accessibility-Schnittstellen, UI-Automation, anwendungsspezifische APIs oder visuelle Steuerung über Screenshots. Häufig ist eine Kombination am zuverlässigsten.

6. Orchestrierung

Die schwierigste Ebene: Alles zuverlässig zusammenspielen lassen

Bei einem kleinen Demo-Projekt reicht oft ein Ablauf wie „Sprache erkennen → Modell fragen → Antwort vorlesen“. Ein produktiver Assistent benötigt dagegen Zustände, Fehlerbehandlung, Wiederholungslogik und eine klare Trennung von Denken und Ausführen.

Beispiel: Der Nutzer sagt „Öffne die aktuelle Rechnung und sag mir, wann sie fällig ist.“ Der Assistent muss verstehen, welche Rechnung gemeint ist, einen sicheren Suchweg wählen, die richtige Datei identifizieren, den Inhalt erfassen und erst dann antworten. Schlägt ein Schritt fehl, sollte er das erkennen statt einfach mit falschem Kontext weiterzumachen.

7. Sicherheit

Welche Aktionen darf ein persönlicher Assistent selbstständig ausführen?

Diese Frage sollte bereits beim Aufbau beantwortet werden. Unkritische Aktionen wie ein Programm öffnen oder die Lautstärke ändern können weitgehend automatisch funktionieren. Bei E-Mails, Löschen von Daten, Einkäufen, Zahlungen oder administrativen Systemänderungen sind strengere Regeln sinnvoll.

Ein gutes Berechtigungsmodell unterscheidet deshalb zwischen Aktionen, die automatisch erlaubt sind, Aktionen mit Bestätigung und Aktionen, die grundsätzlich gesperrt bleiben. Diese Grenzen gehören zur Architektur und sollten nicht erst nachträglich ergänzt werden.

Local AI

Kann man Jarvis komplett lokal bauen?

Viele Kernbausteine können bereits lokal laufen: Sprachmodell, Spracherkennung, Sprachausgabe, Memory-Datenbank und Teile der Computersteuerung. Aktuelle Projekte zeigen beispielsweise vollständig lokale Kombinationen aus Wake-Word, Whisper, Ollama und lokaler TTS.

„Komplett lokal“ bedeutet aber nicht automatisch „komplett offline“. Sobald Jarvis aktuelle Webseiten durchsuchen, externe Kalender synchronisieren oder Cloud-Dienste bedienen soll, benötigt er natürlich Netzwerkzugriff. Sinnvoller ist deshalb häufig ein local-first-Ansatz: möglichst viel lokal, externe Dienste bewusst und gezielt.

Mehr zu diesem Thema erklären wir im Ratgeber Lokaler KI-Assistent.

Hardware

Was braucht der eigene PC?

Für einfache Prototypen ist keine High-End-Hardware zwingend notwendig. Kleine lokale Modelle können auf modernen CPUs laufen. Eine unterstützte GPU beschleunigt die Verarbeitung deutlich und erlaubt größere Modelle. Spracherkennung und Bildschirmverständnis erhöhen den Ressourcenbedarf zusätzlich.

Wer ausschließlich Cloud-Modelle nutzt, braucht lokal deutlich weniger Rechenleistung. Dafür entstehen Abhängigkeiten von Internetverbindung, API-Kosten und externen Diensten.

Technik

Welche Technologien eignen sich?

Es gibt keinen vorgeschriebenen Stack. Python ist für erste KI-Prototypen beliebt, weil viele Bibliotheken direkt verfügbar sind. Für einen stabilen Windows-Agenten können TypeScript/Node.js, C#, Rust oder native Windows-Komponenten ebenso sinnvoll sein.

Praxis

Warum viele DIY-Jarvis-Projekte schnell an Grenzen stoßen

Die erste Demo ist vergleichsweise leicht: Wake-Word erkennen, Sprache transkribieren, Modell aufrufen und eine Antwort sprechen. Der Sprung zu einem Assistenten, dem man im Alltag vertraut, ist deutlich größer.

• Keine zuverlässige Zustandsprüfung: Der Assistent klickt, ohne zu kontrollieren, ob wirklich das richtige Fenster geöffnet wurde.
• Memory wird ungefiltert gespeichert: Alte oder falsche Informationen bleiben dauerhaft erhalten.
• Zu viele Berechtigungen: Ein Fehler kann dadurch unnötig große Folgen haben.
• Keine Fehlerstrategie: Wenn ein Tool scheitert, versucht das Modell trotzdem weiterzumachen.
• Zu starre Befehle: Das System funktioniert nur mit exakt vorbereiteten Sätzen und fühlt sich deshalb nicht wie ein natürlicher Assistent an.

Fazit

Ein eigener Jarvis ist heute machbar – der schwierige Teil beginnt nach der ersten Demo.

Die einzelnen Technologien sind inzwischen erstaunlich zugänglich. Ein lokales LLM lässt sich installieren, Sprache kann offline erkannt und ausgegeben werden und Windows lässt sich automatisieren. Einen wirklich guten persönlichen Assistenten daraus zu bauen bedeutet jedoch, all diese Teile zuverlässig zu verbinden.

Der entscheidende Unterschied liegt deshalb zwischen einem Assistenten, der auf zehn vorbereitete Befehle reagiert, und einem System, das natürliche Ziele versteht, passende Werkzeuge auswählt, den Zustand des Computers überprüft und trotzdem unter Kontrolle des Nutzers bleibt.

FAQ

Häufige Fragen zum eigenen Jarvis