Computer bedienen

Mit Computer bedienen erlaubst du einem Agenten, Browser, Apps und Terminal zu verwenden. Der Schalter steht im Agent Loop und LLM und ist bei neuen Agenten ausgeschaltet. Die Freigaben unter Profil → Dieser Computer gelten zusätzlich.

Die neue Ansicht „Dieser Computer“ in einer Web-Demo ohne verbundenen Desktop; deshalb sind die Schalter deaktiviert. In Uella Desktop erscheint zusätzlich die Gerätekarte mit den macOS-Freigaben (lokaler Stand 0.0.12).

Dieser Computer

Freigabe	Wirkung
Browser	Webseiten in Uella und ausdrücklich geteilte Chrome-Tabs lesen und bedienen
Apps	Lokale App-Fenster sehen und bedienen
Terminal	Befehle auf diesem Computer ausführen; jeder Befehl braucht eine Bestätigung
Alles anhalten	Sperrt weitere Agentaktionen in Browser, Apps, Terminal und Fernsteuerung. Du kannst die Oberfläche weiterhin selbst bedienen.

Das ? erklärt die jeweilige Freigabe. Unter Immer erlaubte Apps und Immer erlaubte Webseiten verwaltest du Ausnahmen von den einzelnen Bestätigungen. Login, Sicherheitscodes und Zahlungen im Browser übergibt der Agent weiterhin an dich.

Bestehende Agenten behalten ihre bisherigen einzelnen Freigaben unter Erweiterte Freigaben. Apps aktiviert Terminal nicht automatisch. Der gemeinsame Schalter kann diese Auswahl insgesamt aus- und einschalten.

Welchen Browser verwendet der Agent?

Für neue Webseiten öffnet der Agent standardmässig einen Tab im Uella-Browser mit eigenem Profil. Dieser erscheint im Split View. Wenn du ausdrücklich deinen Chrome-Tab verwenden möchtest, nutzt er einen von dir über die Erweiterung geteilten Tab. Bei mehreren geteilten Tabs lässt er dich auswählen; ohne geteilten Tab führt er dich zu Dieser Computer → Chrome verbinden.

Das Browserziel bleibt an den Chat gebunden. Browser: In Uella oder Browser: Dein Chrome zeigt das gewählte Ziel. Im Split View kannst du einen anderen Tab ansehen, ohne das Ziel des Agenten zu ändern. Mit Für diesen Chat verwenden wählst du ausdrücklich ein neues Ziel. Ein neu geteilter Chrome-Tab ersetzt das Ziel nicht automatisch. Beim Neustart werden Uella-Tabs und ihre Chat-Zuordnung als neu geladene Seiten wiederhergestellt; ungespeicherte Formulare und der alte Seitenzustand bleiben nicht erhalten. Geschlossene Ziele und externe Chrome-Freigaben brauchen eine neue Auswahl.

Über + → Browser im Split View kannst du den Browser jederzeit selbst öffnen. Das erteilt dem Agenten keine zusätzlichen Rechte. Browser und Gerät steuern stehen nicht mehr im Plus-Menü der Haupteingabe.

Browseraufgaben verwenden die Browser-Werkzeuge. Ist die Browserfreigabe gesperrt oder eine Übergabe an dich offen, darf der Agent nicht über App-Klicks auf Chrome oder Safari ausweichen. Für andere Apps ist die automatische Erkennung sensibler Felder noch nicht mit den Browserregeln gleichzusetzen; bestätige deren Aktionen entsprechend sorgfältig.

Andere Geräte

Unter Profil → Andere Geräte findest du verbundene Computer, Fernsteuerungsfreigaben und SSH. Starte Uella Desktop auf dem Zielcomputer und melde dich mit dem gleichen Konto an. Dort muss die Fernsteuerung erlaubt sein. Die Oberfläche verspricht keine Fortsetzung von Chats auf dem Smartphone.

Für ein Projektverzeichnis verwende Lokales Projekt. Für Webseiten siehe Browser.

macOS-Berechtigungen

Öffne in Uella Desktop Einstellungen → macOS-Freigaben. Diese Freigaben werden zum Sehen und Bedienen von Apps benötigt. Browser-Werkzeuge, Chat und Dateien funktionieren ohne sie. Das ? erklärt den Zweck und öffnet diese Anleitung. Das kreisförmige Pfeil-Icon neben jeder Freigabe prüft den Status erneut, ohne eine neue Systemabfrage auszulösen. Beim Zurückkehren in Uella wird der Status ebenfalls geprüft.

Bedienungshilfen

Diese Freigabe erlaubt Uella, in deinem Auftrag zu klicken, zu tippen und Oberflächenelemente zu lesen.

1. Klicke neben Bedienungshilfen auf Erlauben.
2. macOS zeigt eine Anfrage oder öffnet Systemeinstellungen → Datenschutz & Sicherheit → Bedienungshilfen.
3. Aktiviere Uella Desktop. Falls der Eintrag fehlt, füge die installierte App aus Programme mit + hinzu.
4. Kehre zu Uella zurück und prüfe, ob der Status Erlaubt anzeigt.

Bildschirmaufnahme

Diese Freigabe erlaubt Uella, den Bildschirm bei der Computersteuerung zu sehen. Je nach macOS-Version heisst die Einstellung Bildschirmaufnahme oder Aufnahme von Bildschirm & Systemaudio.

1. Klicke neben Bildschirmaufnahme auf Erlauben.
2. Aktiviere Uella Desktop unter Systemeinstellungen → Datenschutz & Sicherheit → Bildschirmaufnahme. Falls keine Anfrage erscheint, öffne diese Seite manuell.
3. Fehlt Uella in der Liste, füge die installierte App aus Programme mit + hinzu.
4. Kehre zu Uella zurück. Wenn macOS einen Neustart verlangt oder der Status weiter Fehlt meldet, nutze Uella neu starten in der Gerätekarte. Laufende Aufgaben werden dabei unterbrochen; Uella fragt vorher nach.

Freigabe wird nicht erkannt

• Starte Uella aus Programme, nicht direkt aus dem DMG. Den tatsächlich laufenden App-Pfad findest du im ? neben dem Kartentitel.
• Prüfe beide Schalter in macOS und starte Uella vollständig neu. Status aktualisieren allein ersetzt keinen erforderlichen Neustart.
• Bleibt das Problem nach einem Update bestehen, entferne erst dann den alten Uella-Eintrag mit − und füge die installierte App erneut mit + hinzu.
• Unbekannt bedeutet, dass Uella den Status nicht lesen konnte. Versuche die Prüfung erneut und beachte die angezeigte Fehlermeldung.

Gerät prüfen

Profil → Andere Geräte → Andere Geräte steuern

Anzeige	Bedeutung
online	Desktop-App verbunden
offline	App nicht gestartet oder nicht angemeldet

Häufige Probleme

Problem	Lösung
„Kein Gerät online“	Desktop starten und anmelden
„Apps ist ausgeschaltet“	Profil → Dieser Computer
„Terminal ist ausgeschaltet“	Derselbe Tab, Schalter Terminal
„Berechtigungen fehlen“	macOS: Bedienungshilfen + Bildschirmaufnahme
„Remote ist für dieses Gerät aus“	Profil → Andere Geräte → «Diesen Rechner remote erlauben» (am Zielgerät)
Willst du docker logs	Computer bedienen am Agenten und Terminal in den Einstellungen

Sicherheit

• Nur dein Konto steuert deine Geräte.
• Alles anhalten sperrt weitere Agentaktionen in Browser, Apps, Terminal und Fernsteuerung.
• Unbekannte Geräte unter Andere Geräte → Entfernen löschen.
• Immer erlaubte Apps überspringt die Freigabe nur für genau diese Programme. Unbekannte Apps fragen weiter nach. Die Liste ist unter Profil → Dieser Computer änderbar.

Sichtbare Klicks

Bei ausgeführten Browser-Klicks zeigt Uella kurz einen grauen Pfeil mit dezenter Kontur am Ziel. Die Markierung nimmt keinen Fokus an und blockiert keine Eingaben. Sie erscheint bei ausgeführten Browser-Klicks, nicht während der Planung oder einer offenen Freigabe. Für native Apps verwendet Uella nur den normalen Mac-Mauszeiger; es gibt dort keine zusätzliche Pfeilanzeige.

Unter Desktop-Einstellungen → Browser-Klicks hervorheben kannst du die Markierung ausschalten. Der normale Mauszeiger bleibt bei der App-Steuerung sichtbar. Der Pfeil markiert das aktuelle Klickziel; ob die App reagiert hat, prüft der Agent anschliessend anhand einer neuen Beobachtung.

Falls beim Start Port 4010 ist bereits belegt erscheint, beende eine ältere Uella-Instanz vollständig und starte Uella neu. Uella übernimmt nur den zu dieser App-Version gehörenden Backend-Prozess.

Während der Agent arbeitet selbst weiterarbeiten

Der Uella-Browser sendet Aktionen direkt an den gewählten Tab, ohne die Mac-Maus zu bewegen. Du kannst andere Apps und andere Tabs verwenden. Im gleichen Agent-Tab solltest du während einer Aktion nicht selbst klicken, tippen oder navigieren: Beide verändern dieselbe Seite. Das gilt auch für einen ausdrücklich geteilten Chrome-Tab.

Bei nativen Apps wie dem Rechner teilt sich Uella die echte Maus, Tastatur und den Fensterfokus mit dir. Mausbewegungen können einen Klick stören; Tippen oder App-Wechsel können eine Eingabe beeinflussen. Lass die Eingabe deshalb während einer bestätigten Aktion kurz ruhen. Für längeres eigenes Arbeiten nutze Alles anhalten und setze den Agenten danach mit einer neuen Beobachtung fort. Die sichtbare Pfeilmarkierung schafft keine zweite unabhängige Maus.