Vai al contenuto principale

ComfyUI

OpenClaw include un plugin integrato comfy per esecuzioni ComfyUI guidate da workflow. Il plugin è interamente guidato dal workflow, quindi OpenClaw non cerca di mappare controlli generici come size, aspectRatio, resolution, durationSeconds o controlli in stile TTS sul tuo grafo.
ProprietàDettaglio
Providercomfy
Modellicomfy/workflow
Superfici condiviseimage_generate, video_generate, music_generate
AuthNessuna per ComfyUI locale; COMFY_API_KEY o COMFY_CLOUD_API_KEY per Comfy Cloud
APIComfyUI /prompt / /history / /view e Comfy Cloud /api/*

Cosa supporta

  • Generazione di immagini da un workflow JSON
  • Modifica di immagini con 1 immagine di riferimento caricata
  • Generazione video da un workflow JSON
  • Generazione video con 1 immagine di riferimento caricata
  • Generazione di musica o audio tramite lo strumento condiviso music_generate
  • Download dell’output da un nodo configurato o da tutti i nodi di output corrispondenti

Per iniziare

Scegli tra eseguire ComfyUI sulla tua macchina oppure usare Comfy Cloud.
Ideale per: eseguire la tua istanza ComfyUI sulla tua macchina o sulla tua LAN.
1

Avvia ComfyUI in locale

Assicurati che la tua istanza locale di ComfyUI sia in esecuzione (per impostazione predefinita su http://127.0.0.1:8188).
2

Prepara il tuo workflow JSON

Esporta o crea un file JSON di workflow ComfyUI. Annota gli ID dei nodi per il nodo di input del prompt e per il nodo di output da cui vuoi che OpenClaw legga.
3

Configura il provider

Imposta mode: "local" e punta al tuo file workflow. Ecco un esempio minimo per immagini:
{
  models: {
    providers: {
      comfy: {
        mode: "local",
        baseUrl: "http://127.0.0.1:8188",
        image: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
      },
    },
  },
}
4

Imposta il modello predefinito

Indirizza OpenClaw al modello comfy/workflow per la capacità che hai configurato:
{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
5

Verifica

openclaw models list --provider comfy

Configurazione

Comfy supporta impostazioni di connessione condivise di primo livello più sezioni workflow per capacità (image, video, music):
{
  models: {
    providers: {
      comfy: {
        mode: "local",
        baseUrl: "http://127.0.0.1:8188",
        image: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
        video: {
          workflowPath: "./workflows/video-api.json",
          promptNodeId: "12",
          outputNodeId: "21",
        },
        music: {
          workflowPath: "./workflows/music-api.json",
          promptNodeId: "3",
          outputNodeId: "18",
        },
      },
    },
  },
}

Chiavi condivise

ChiaveTipoDescrizione
mode"local" o "cloud"Modalità di connessione.
baseUrlstringPer impostazione predefinita http://127.0.0.1:8188 in locale o https://cloud.comfy.org in cloud.
apiKeystringChiave inline opzionale, alternativa alle variabili env COMFY_API_KEY / COMFY_CLOUD_API_KEY.
allowPrivateNetworkbooleanConsente un baseUrl privato/LAN in modalità cloud.

Chiavi per capacità

Queste chiavi si applicano all’interno delle sezioni image, video o music:
ChiaveObbligatoriaPredefinitoDescrizione
workflow o workflowPathPercorso del file JSON del workflow ComfyUI.
promptNodeIdID del nodo che riceve il prompt testuale.
promptInputNameNo"text"Nome dell’input sul nodo del prompt.
outputNodeIdNoID del nodo da cui leggere l’output. Se omesso, vengono usati tutti i nodi di output corrispondenti.
pollIntervalMsNoIntervallo di polling in millisecondi per il completamento del job.
timeoutMsNoTimeout in millisecondi per l’esecuzione del workflow.
Le sezioni image e video supportano anche:
ChiaveObbligatoriaPredefinitoDescrizione
inputImageNodeIdSì (quando si passa un’immagine di riferimento)ID del nodo che riceve l’immagine di riferimento caricata.
inputImageInputNameNo"image"Nome dell’input sul nodo immagine.

Dettagli del workflow

Imposta il modello immagine predefinito su comfy/workflow:
{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
Esempio di modifica con immagine di riferimento:Per abilitare la modifica di immagini con un’immagine di riferimento caricata, aggiungi inputImageNodeId alla tua configurazione immagine:
{
  models: {
    providers: {
      comfy: {
        image: {
          workflowPath: "./workflows/edit-api.json",
          promptNodeId: "6",
          inputImageNodeId: "7",
          inputImageInputName: "image",
          outputNodeId: "9",
        },
      },
    },
  },
}
Imposta il modello video predefinito su comfy/workflow:
{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
I workflow video Comfy supportano la generazione da testo a video e da immagine a video tramite il grafo configurato.
OpenClaw non passa video di input nei workflow Comfy. Come input sono supportati solo prompt testuali e singole immagini di riferimento.
Il plugin integrato registra un provider di generazione musicale per output audio o musicali definiti dal workflow, esposto tramite lo strumento condiviso music_generate:
/tool music_generate prompt="Warm ambient synth loop with soft tape texture"
Usa la sezione di configurazione music per puntare al tuo JSON di workflow audio e al nodo di output.
La configurazione immagine esistente di primo livello (senza la sezione annidata image) continua a funzionare:
{
  models: {
    providers: {
      comfy: {
        workflowPath: "./workflows/flux-api.json",
        promptNodeId: "6",
        outputNodeId: "9",
      },
    },
  },
}
OpenClaw tratta questa forma legacy come configurazione del workflow immagine. Non è necessario migrare subito, ma per le nuove configurazioni sono consigliate le sezioni annidate image / video / music.
Se usi solo la generazione di immagini, la configurazione flat legacy e la nuova sezione annidata image sono funzionalmente equivalenti.
Esiste copertura live opt-in per il plugin integrato:
OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
Il test live salta i singoli casi di immagine, video o musica a meno che non sia configurata la sezione workflow Comfy corrispondente.

Correlati

Generazione di immagini

Configurazione e utilizzo dello strumento di generazione di immagini.

Generazione video

Configurazione e utilizzo dello strumento di generazione video.

Generazione musicale

Configurazione dello strumento per generazione musicale e audio.

Directory provider

Panoramica di tutti i provider e riferimenti modello.

Riferimento configurazione

Riferimento completo della configurazione, inclusi i valori predefiniti dell’agente.