Langsung ke konten utama

ComfyUI

OpenClaw menyediakan Plugin comfy bawaan untuk eksekusi ComfyUI berbasis workflow. Plugin ini sepenuhnya digerakkan oleh workflow, jadi OpenClaw tidak mencoba memetakan size, aspectRatio, resolution, durationSeconds, atau kontrol bergaya TTS generik ke graph Anda.
PropertyDetail
Providercomfy
Modelcomfy/workflow
Permukaan bersamaimage_generate, video_generate, music_generate
AutentikasiTidak ada untuk ComfyUI lokal; COMFY_API_KEY atau COMFY_CLOUD_API_KEY untuk Comfy Cloud
APIComfyUI /prompt / /history / /view dan Comfy Cloud /api/*

Yang didukung

  • Generasi gambar dari workflow JSON
  • Pengeditan gambar dengan 1 gambar referensi yang diunggah
  • Generasi video dari workflow JSON
  • Generasi video dengan 1 gambar referensi yang diunggah
  • Generasi musik atau audio melalui tool bersama music_generate
  • Pengunduhan output dari node yang dikonfigurasi atau semua node output yang cocok

Memulai

Pilih antara menjalankan ComfyUI di mesin Anda sendiri atau menggunakan Comfy Cloud.
Paling cocok untuk: menjalankan instance ComfyUI Anda sendiri di mesin atau LAN Anda.
1

Jalankan ComfyUI secara lokal

Pastikan instance ComfyUI lokal Anda sedang berjalan (default ke http://127.0.0.1:8188).
2

Siapkan workflow JSON Anda

Ekspor atau buat file workflow JSON ComfyUI. Catat ID node untuk node input prompt dan node output yang ingin dibaca oleh OpenClaw.
3

Konfigurasikan provider

Tetapkan mode: "local" dan arahkan ke file workflow Anda. Berikut contoh gambar minimal:
{
  models: {
    providers: {
      comfy: {
        mode: "local",
        baseUrl: "http://127.0.0.1:8188",
        image: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
      },
    },
  },
}
4

Tetapkan model default

Arahkan OpenClaw ke model comfy/workflow untuk kapabilitas yang Anda konfigurasi:
{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
5

Verifikasi

openclaw models list --provider comfy

Konfigurasi

Comfy mendukung pengaturan koneksi tingkat atas bersama plus bagian workflow per kapabilitas (image, video, music):
{
  models: {
    providers: {
      comfy: {
        mode: "local",
        baseUrl: "http://127.0.0.1:8188",
        image: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
        video: {
          workflowPath: "./workflows/video-api.json",
          promptNodeId: "12",
          outputNodeId: "21",
        },
        music: {
          workflowPath: "./workflows/music-api.json",
          promptNodeId: "3",
          outputNodeId: "18",
        },
      },
    },
  },
}

Key bersama

KeyTipeDeskripsi
mode"local" atau "cloud"Mode koneksi.
baseUrlstringDefault ke http://127.0.0.1:8188 untuk lokal atau https://cloud.comfy.org untuk cloud.
apiKeystringKey inline opsional, alternatif dari env var COMFY_API_KEY / COMFY_CLOUD_API_KEY.
allowPrivateNetworkbooleanIzinkan baseUrl private/LAN dalam mode cloud.

Key per kapabilitas

Key ini berlaku di dalam bagian image, video, atau music:
KeyWajibDefaultDeskripsi
workflow atau workflowPathYaPath ke file workflow JSON ComfyUI.
promptNodeIdYaID node yang menerima prompt teks.
promptInputNameTidak"text"Nama input pada node prompt.
outputNodeIdTidakID node untuk membaca output. Jika dihilangkan, semua node output yang cocok digunakan.
pollIntervalMsTidakInterval polling dalam milidetik untuk penyelesaian job.
timeoutMsTidakTimeout dalam milidetik untuk eksekusi workflow.
Bagian image dan video juga mendukung:
KeyWajibDefaultDeskripsi
inputImageNodeIdYa (saat memberikan gambar referensi)ID node yang menerima gambar referensi yang diunggah.
inputImageInputNameTidak"image"Nama input pada node gambar.

Detail workflow

Tetapkan model gambar default ke comfy/workflow:
{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
Contoh pengeditan gambar referensi:Untuk mengaktifkan pengeditan gambar dengan gambar referensi yang diunggah, tambahkan inputImageNodeId ke config gambar Anda:
{
  models: {
    providers: {
      comfy: {
        image: {
          workflowPath: "./workflows/edit-api.json",
          promptNodeId: "6",
          inputImageNodeId: "7",
          inputImageInputName: "image",
          outputNodeId: "9",
        },
      },
    },
  },
}
Tetapkan model video default ke comfy/workflow:
{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
Workflow video Comfy mendukung teks-ke-video dan gambar-ke-video melalui graph yang dikonfigurasi.
OpenClaw tidak meneruskan video input ke workflow Comfy. Hanya prompt teks dan satu gambar referensi yang didukung sebagai input.
Plugin bawaan mendaftarkan provider generasi musik untuk output audio atau musik yang didefinisikan workflow, ditampilkan melalui tool bersama music_generate:
/tool music_generate prompt="Warm ambient synth loop with soft tape texture"
Gunakan bagian config music untuk mengarahkan ke workflow JSON audio Anda dan node output.
Config gambar tingkat atas yang sudah ada (tanpa bagian image bertingkat) tetap berfungsi:
{
  models: {
    providers: {
      comfy: {
        workflowPath: "./workflows/flux-api.json",
        promptNodeId: "6",
        outputNodeId: "9",
      },
    },
  },
}
OpenClaw memperlakukan bentuk lama itu sebagai config workflow gambar. Anda tidak perlu segera bermigrasi, tetapi bagian bertingkat image / video / music direkomendasikan untuk penyiapan baru.
Jika Anda hanya menggunakan generasi gambar, config datar lama dan bagian image bertingkat yang baru secara fungsional setara.
Cakupan live opt-in tersedia untuk Plugin bawaan:
OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
Live test akan melewati kasus gambar, video, atau musik individual kecuali bagian workflow Comfy yang sesuai sudah dikonfigurasi.

Terkait

Generasi Gambar

Konfigurasi dan penggunaan tool generasi gambar.

Generasi Video

Konfigurasi dan penggunaan tool generasi video.

Generasi Musik

Penyiapan tool generasi musik dan audio.

Direktori Provider

Ikhtisar semua provider dan ref model.

Referensi Konfigurasi

Referensi config lengkap termasuk default agent.