Computernutzung

Computer Use ermöglicht dem Gateway-Agenten, einen gekoppelten macOS-Desktop zu sehen und zu steuern: Das Tool erfasst mit dem vorhandenen Node-Befehl screen.snapshot einen Screenshot und steuert Zeiger und Tastatur über einen einzigen gefährlichen Node-Befehl, computer.act. Der Aktionsumfang entspricht den zentralen Computer-Use-Aktionen von Anthropic; der optionale Zoom von computer_20251124 wird nicht bereitgestellt. Ein bildverarbeitungsfähiges Modell steuert den Desktop über das integrierte Agenten-Tool computer.

Der Agent gibt einen einheitlichen Befehl aus, computer.act; er kann nicht erkennen, wie ein Node ihn ausführt. Ein macOS-Node führt computer.act innerhalb des Prozesses mit eingebetteten Peekaboo-Diensten und eng begrenzten CoreGraphics-Primitiven aus (korrekte TCC-Berechtigungen, kein zusätzlicher Prozess). Andere Plattformen können denselben Befehl später ausführen, ohne den Vertrag gegenüber dem Agenten zu ändern.

Voraussetzungen

• Ein gekoppelter macOS-Node (die OpenClaw-macOS-App im Node-Modus).
• Die macOS-App-Einstellung Computersteuerung zulassen ist aktiviert (Standard: deaktiviert).
• Die macOS-Berechtigung Bedienungshilfen wurde OpenClaw erteilt (für die Zeiger-/Tastatureingabe), ebenso die Berechtigung Bildschirmaufnahme (für screen.snapshot).
• Der Befehl computer.act ist am Gateway freigeschaltet (er ist gefährlich und standardmäßig gesperrt).
• Ein bildverarbeitungsfähiges Agentenmodell.
• Eine Tool-Richtlinie, die computer bereitstellt. Das standardmäßige Profil coding stellt es nicht bereit. Fügen Sie computer zu tools.alsoAllow hinzu; Agenten in einer Sandbox benötigen es außerdem in tools.sandbox.tools.alsoAllow.

Das Agenten-Tool computer

Das integrierte Tool computer akzeptiert pro Aufruf eine Aktion. Koordinaten sind nicht negative ganzzahlige Pixel im neuesten Screenshot; der Node ordnet sie Bildschirmpunkten zu. Koordinatenaktionen müssen die frameId des Screenshot-Ergebnisses wiederholen, und ein expliziter screenIndex muss mit diesem Frame übereinstimmen. OpenClaw überträgt außerdem eine vom Node ausgegebene Bildschirmidentität aus dem Screenshot in die Aktion, sodass eine erneute Verbindung des Bildschirms oder eine Geometrieänderung sicher fehlschlägt, statt unbemerkt denselben Index neu zuzuordnen. Diese Prüfungen lehnen erratene Token sowie Token aus einem anderen ausgelieferten Frame oder Bildschirm ab. Ein Token garantiert keine Aktualität: Apps können die Pixel auf demselben Bildschirm nach der Aufnahme ändern. Erstellen Sie daher einen neuen Screenshot, wenn sich die Ansicht möglicherweise geändert hat.

• Lesen: screenshot.
• Zeiger: left_click, right_click, middle_click, double_click, triple_click, mouse_move, left_click_drag (mit startCoordinate), left_mouse_down, left_mouse_up.
• Scrollen: scroll mit scrollDirection (up|down|left|right) und scrollAmount (Mausradschritte).
• Tastatur: type (Text), key (Tastenkombination wie cmd+shift+t oder Return), hold_key (text-Kombination, die für duration Sekunden gehalten wird).
• Ablaufsteuerung: wait (duration Sekunden).

Modifikatortasten werden bei Klick- und Scrollaktionen über das Feld text übergeben (shift, ctrl, alt, cmd). Nach einer Eingabeaktion gibt das Tool einen neuen Screenshot zurück, damit das Modell das Ergebnis erfassen kann. Wenn mehrere Computer-Use-fähige Nodes verbunden sind, geben Sie node ausdrücklich an.

Screenshots bleiben ausschließlich für das Modell bestimmt: Sie werden niemals automatisch an den Chatkanal ausgeliefert. Behandeln Sie alle Bildschirminhalte als nicht vertrauenswürdige Eingaben; das Tool warnt das Modell davor, Bildschirmanweisungen zu befolgen, die der Anfrage des Benutzers widersprechen.

Der Node-Befehl computer.act

computer.act ist der einzige Node-Befehl, über den das Tool Eingaben weiterleitet (node.invoke mit command: "computer.act"). Er ist:

• Standardmäßig gefährlich: Er ist in den integrierten gefährlichen Node-Befehlen aufgeführt und von der Laufzeit-Zulassungsliste ausgeschlossen, bis er ausdrücklich freigeschaltet wird. Ein macOS-Node kann ihn dennoch beim Koppeln deklarieren, sodass die Schnittstelle einmalig genehmigt wird.
• Derzeit nur für macOS verfügbar: Er wird nur von einem macOS-Node bekannt gegeben, bei dem Computersteuerung zulassen aktiviert ist.

Lesevorgänge verwenden screen.snapshot erneut; es gibt keinen zweiten Aufnahmepfad. Informationen zum gemeinsam genutzten Aufnahmebefehl finden Sie unter Kamera- und Bildschirm-Nodes.

Aktivieren und freischalten

1. Aktivieren Sie in der macOS-App Settings → Allow Computer Control. Öffnen Sie anschließend Settings → Permissions und erteilen Sie in den macOS-Systemeinstellungen die Berechtigungen Accessibility und Screen Recording.

2. Genehmigen Sie die Aktualisierung der Kopplung am Gateway (ein neuer Befehl erzwingt eine erneute Kopplung).

3. Stellen Sie das Tool dem bildverarbeitungsfähigen Agenten bereit. Für das standardmäßige Profil coding:

   {  tools: {    alsoAllow: ["computer"],    // Agenten in einer Sandbox benötigen auch diese zweite Freigabe:    sandbox: { tools: { alsoAllow: ["computer"] } },  },}

4. Schalten Sie computer.act für einen begrenzten Zeitraum frei. Das Plugin phone-control stellt eine Gruppe computer bereit:

   /phone arm computer 30m/phone status/phone disarm

   Die Freischaltung erfordert operator.admin (oder den Eigentümer) und läuft automatisch ab. Die veraltete Gruppe /phone arm all schließt die Desktopsteuerung absichtlich aus; verwenden Sie die ausdrückliche Gruppe computer. Die Freischaltung legt nur fest, was das Gateway aufrufen darf; die macOS-App erzwingt weiterhin ihre Einstellung Computersteuerung zulassen sowie die Betriebssystemberechtigungen.

Fügen Sie für eine dauerhafte Autorisierung computer.act zu gateway.nodes.allowCommands hinzu und entfernen Sie es aus gateway.nodes.denyCommands; die Sperrliste hat Vorrang. Eine dauerhafte Autorisierung läuft nicht automatisch ab. Einträge, die bereits vor /phone arm vorhanden waren, bleiben nach /phone disarm erhalten; wandeln Sie eine temporäre Gewährung nicht während der Freischaltung in eine dauerhafte um.

Die Autorisierung ist bewusst in Aktivierung und Nutzung unterteilt. Das Freischalten oder dauerhafte Konfigurieren von computer.act erfordert administrative Berechtigungen. Nach der Freischaltung kann ein authentifizierter Operator mit operator.write computer.act über node.invoke aufrufen, bis die Gewährung abläuft oder aufgehoben wird; es erfolgt keine Administratorprüfung für jede einzelne Aktion. Die Genehmigung eines Nodes, der computer.act deklariert, erfasst lediglich die Schnittstelle, damit sie später freigeschaltet werden kann, und ermöglicht für sich genommen keinen Aufruf.

Sicherheit

• Vor der Autorisierung müssen alle Ebenen zustimmen (Tool-Richtlinie, Gateway-Befehlsrichtlinie, macOS-Einstellung, Bedienungshilfen und Bildschirmaufnahme). Nach der Freischaltung werden Aktionen bis zum Ablauf oder bis zu /phone disarm ohne Bestätigung für jede einzelne Aktion ausgeführt.
• Texteingaben werden jeweils ein Graphem nach dem anderen gesendet. Abbruch, Verbindungsunterbrechung, Pausierung, Deaktivierung oder Ersetzung des Endpunkts stoppen die Eingabe vor dem nächsten Graphem, statt den veralteten Rest weiter auszuführen.
• Screenshots sind ausschließlich für das Modell bestimmt und werden niemals automatisch an den Chat gesendet (Issue #44759).
• Behandeln Sie Bildschirminhalte als nicht vertrauenswürdig; sie können Prompt-Injection enthalten.

Beziehung zu anderen Pfaden für die Desktopsteuerung

Dies ist der vom Agenten gesteuerte Pfad. Unter Peekaboo-Bridge erfahren Sie, wie er mit dem PeekabooBridge-Host, Codex Computer Use und dem direkten MCP cua-driver zusammenhängt.