Zum Hauptinhalt springen

​
ComfyUI

OpenClaw enthält ein gebündeltes Plugin comfy für workflowgesteuerte ComfyUI-Läufe. Das Plugin ist vollständig workflowgesteuert, daher versucht OpenClaw nicht, generische Steuerelemente wie size, aspectRatio, resolution, durationSeconds oder TTS-ähnliche Einstellungen auf Ihren Graphen abzubilden.
EigenschaftDetail
Providercomfy
Modellecomfy/workflow
Gemeinsame Oberflächenimage_generate, video_generate, music_generate
AuthKeine für lokales ComfyUI; COMFY_API_KEY oder COMFY_CLOUD_API_KEY für Comfy Cloud
APIComfyUI /prompt / /history / /view und Comfy Cloud /api/*

​
Was unterstützt wird

  • Bildgenerierung aus einem Workflow-JSON
  • Bildbearbeitung mit 1 hochgeladenen Referenzbild
  • Videogenerierung aus einem Workflow-JSON
  • Videogenerierung mit 1 hochgeladenen Referenzbild
  • Musik- oder Audiogenerierung über das gemeinsame Tool music_generate
  • Herunterladen der Ausgabe von einem konfigurierten Node oder allen passenden Output-Nodes

​
Erste Schritte

Wählen Sie zwischen dem Ausführen von ComfyUI auf Ihrem eigenen Rechner oder der Verwendung von Comfy Cloud.
Am besten geeignet für: das Ausführen Ihrer eigenen ComfyUI-Instanz auf Ihrem Rechner oder im LAN.
1

ComfyUI lokal starten

Stellen Sie sicher, dass Ihre lokale ComfyUI-Instanz läuft (standardmäßig http://127.0.0.1:8188).
2

Ihr Workflow-JSON vorbereiten

Exportieren oder erstellen Sie eine ComfyUI-Workflow-JSON-Datei. Notieren Sie sich die Node-IDs für den Prompt-Eingabe-Node und den Output-Node, aus dem OpenClaw lesen soll.
3

Den Provider konfigurieren

Setzen Sie mode: "local" und verweisen Sie auf Ihre Workflow-Datei. Hier ist ein minimales Bildbeispiel:
{
  models: {
    providers: {
      comfy: {
        mode: "local",
        baseUrl: "http://127.0.0.1:8188",
        image: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
      },
    },
  },
}
4

Das Standardmodell festlegen

Verweisen Sie OpenClaw für die konfigurierte Fähigkeit auf das Modell comfy/workflow:
{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
5

Überprüfen

openclaw models list --provider comfy

​
Konfiguration

Comfy unterstützt gemeinsame Verbindungseinstellungen auf oberster Ebene sowie Workflow-Abschnitte pro Fähigkeit (image, video, music): 
{
  models: {
    providers: {
      comfy: {
        mode: "local",
        baseUrl: "http://127.0.0.1:8188",
        image: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
        video: {
          workflowPath: "./workflows/video-api.json",
          promptNodeId: "12",
          outputNodeId: "21",
        },
        music: {
          workflowPath: "./workflows/music-api.json",
          promptNodeId: "3",
          outputNodeId: "18",
        },
      },
    },
  },
}

​
Gemeinsame Schlüssel

SchlüsselTypBeschreibung
mode"local" oder "cloud"Verbindungsmodus.
baseUrlstringStandard ist http://127.0.0.1:8188 für lokal oder https://cloud.comfy.org für Cloud.
apiKeystringOptionaler Inline-Schlüssel als Alternative zu den Env-Variablen COMFY_API_KEY / COMFY_CLOUD_API_KEY.
allowPrivateNetworkbooleanEine private/LAN-baseUrl im Cloud-Modus erlauben.

​
Schlüssel pro Fähigkeit

Diese Schlüssel gelten innerhalb der Abschnitte image, video oder music:
SchlüsselErforderlichStandardBeschreibung
workflow oder workflowPathJa—Pfad zur ComfyUI-Workflow-JSON-Datei.
promptNodeIdJa—Node-ID, die den Text-Prompt empfängt.
promptInputNameNein"text"Eingabename auf dem Prompt-Node.
outputNodeIdNein—Node-ID, aus der die Ausgabe gelesen wird. Wenn nicht gesetzt, werden alle passenden Output-Nodes verwendet.
pollIntervalMsNein—Polling-Intervall in Millisekunden für den Abschluss des Jobs.
timeoutMsNein—Timeout in Millisekunden für den Workflow-Lauf.
Die Abschnitte image und video unterstützen außerdem:
SchlüsselErforderlichStandardBeschreibung
inputImageNodeIdJa (bei Übergabe eines Referenzbilds)—Node-ID, die das hochgeladene Referenzbild empfängt.
inputImageInputNameNein"image"Eingabename auf dem Bild-Node.

​
Workflow-Details

Setzen Sie das Standard-Bildmodell auf comfy/workflow:
{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
Beispiel für die Bearbeitung mit Referenzbild:Um die Bildbearbeitung mit einem hochgeladenen Referenzbild zu aktivieren, fügen Sie inputImageNodeId zu Ihrer Bildkonfiguration hinzu:
{
  models: {
    providers: {
      comfy: {
        image: {
          workflowPath: "./workflows/edit-api.json",
          promptNodeId: "6",
          inputImageNodeId: "7",
          inputImageInputName: "image",
          outputNodeId: "9",
        },
      },
    },
  },
}
Setzen Sie das Standard-Videomodell auf comfy/workflow:
{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
Comfy-Video-Workflows unterstützen Text-zu-Video und Bild-zu-Video über den konfigurierten Graphen.
OpenClaw übergibt keine Eingabevideos an Comfy-Workflows. Als Eingaben werden nur Text-Prompts und einzelne Referenzbilder unterstützt.
Das gebündelte Plugin registriert einen Provider für Musikgenerierung für Workflow-definierte Audio- oder Musikausgaben, bereitgestellt über das gemeinsame Tool music_generate:
/tool music_generate prompt="Warm ambient synth loop with soft tape texture"
Verwenden Sie den Konfigurationsabschnitt music, um auf Ihr Audio-Workflow-JSON und den Output-Node zu verweisen.
Die vorhandene Bildkonfiguration auf oberster Ebene (ohne den verschachtelten Abschnitt image) funktioniert weiterhin:
{
  models: {
    providers: {
      comfy: {
        workflowPath: "./workflows/flux-api.json",
        promptNodeId: "6",
        outputNodeId: "9",
      },
    },
  },
}
OpenClaw behandelt diese Legacy-Form als Bild-Workflow-Konfiguration. Sie müssen nicht sofort migrieren, aber die verschachtelten Abschnitte image / video / music werden für neue Setups empfohlen.
Wenn Sie nur Bildgenerierung verwenden, sind die flache Legacy-Konfiguration und der neue verschachtelte Abschnitt image funktional gleichwertig.
Es gibt Opt-in-Live-Abdeckung für das gebündelte Plugin:
OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
Der Live-Test überspringt einzelne Fälle für Bilder, Videos oder Musik, wenn der passende Comfy-Workflow-Abschnitt nicht konfiguriert ist.

​
Verwandt

Bildgenerierung

Konfiguration und Verwendung des Bildgenerierungstools.

Videogenerierung

Konfiguration und Verwendung des Videogenerierungstools.

Musikgenerierung

Einrichtung des Tools für Musik- und Audiogenerierung.

Provider-Verzeichnis

Überblick über alle Provider und Modell-Refs.

Konfigurationsreferenz

Vollständige Konfigurationsreferenz einschließlich Agent-Standardeinstellungen.