Перейти до основного вмісту

ComfyUI

OpenClaw постачається з вбудованим Plugin comfy для запусків ComfyUI на основі робочих процесів. Plugin повністю керується робочими процесами, тому OpenClaw не намагається зіставляти загальні параметри size, aspectRatio, resolution, durationSeconds або елементи керування в стилі TTS з вашим графом.
ВластивістьДеталі
Провайдерcomfy
Моделіcomfy/workflow
Спільні поверхніimage_generate, video_generate, music_generate
АвтентифікаціяНемає для локального ComfyUI; COMFY_API_KEY або COMFY_CLOUD_API_KEY для Comfy Cloud
APIComfyUI /prompt / /history / /view і Comfy Cloud /api/*

Що підтримується

  • Генерація зображень із JSON робочого процесу
  • Редагування зображень з 1 завантаженим еталонним зображенням
  • Генерація відео з JSON робочого процесу
  • Генерація відео з 1 завантаженим еталонним зображенням
  • Генерація музики або аудіо через спільний інструмент music_generate
  • Завантаження результатів із налаштованого вузла або з усіх відповідних вузлів виводу

Початок роботи

Оберіть між запуском ComfyUI на власному комп’ютері або використанням Comfy Cloud.
Найкраще підходить для: запуску власного екземпляра ComfyUI на вашому комп’ютері або в LAN.
1

Запустіть ComfyUI локально

Переконайтеся, що ваш локальний екземпляр ComfyUI запущений (типово http://127.0.0.1:8188).
2

Підготуйте JSON вашого робочого процесу

Експортуйте або створіть JSON-файл робочого процесу ComfyUI. Зверніть увагу на ID вузлів для вузла введення запиту та вузла виводу, з якого OpenClaw має читати дані.
3

Налаштуйте провайдера

Установіть mode: "local" і вкажіть файл вашого робочого процесу. Ось мінімальний приклад для зображень:
{
  models: {
    providers: {
      comfy: {
        mode: "local",
        baseUrl: "http://127.0.0.1:8188",
        image: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
      },
    },
  },
}
4

Установіть модель за замовчуванням

Спрямуйте OpenClaw на модель comfy/workflow для можливості, яку ви налаштували:
{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
5

Перевірте

openclaw models list --provider comfy

Конфігурація

Comfy підтримує спільні налаштування з’єднання верхнього рівня, а також розділи робочих процесів для окремих можливостей (image, video, music):
{
  models: {
    providers: {
      comfy: {
        mode: "local",
        baseUrl: "http://127.0.0.1:8188",
        image: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
        video: {
          workflowPath: "./workflows/video-api.json",
          promptNodeId: "12",
          outputNodeId: "21",
        },
        music: {
          workflowPath: "./workflows/music-api.json",
          promptNodeId: "3",
          outputNodeId: "18",
        },
      },
    },
  },
}

Спільні ключі

КлючТипОпис
mode"local" or "cloud"Режим з’єднання.
baseUrlstringТипово http://127.0.0.1:8188 для local або https://cloud.comfy.org для cloud.
apiKeystringНеобов’язковий ключ у конфігурації, альтернатива змінним середовища COMFY_API_KEY / COMFY_CLOUD_API_KEY.
allowPrivateNetworkbooleanДозволяє приватний/LAN baseUrl у режимі cloud.

Ключі для окремих можливостей

Ці ключі застосовуються всередині розділів image, video або music:
КлючОбов’язковоТиповоОпис
workflow or workflowPathТакШлях до JSON-файлу робочого процесу ComfyUI.
promptNodeIdТакID вузла, який отримує текстовий запит.
promptInputNameНі"text"Назва входу у вузлі запиту.
outputNodeIdНіID вузла, з якого читати результат. Якщо не вказано, використовуються всі відповідні вузли виводу.
pollIntervalMsНіІнтервал опитування в мілісекундах для завершення завдання.
timeoutMsНіТайм-аут у мілісекундах для виконання робочого процесу.
Розділи image і video також підтримують:
КлючОбов’язковоТиповоОпис
inputImageNodeIdТак (коли передається еталонне зображення)ID вузла, який отримує завантажене еталонне зображення.
inputImageInputNameНі"image"Назва входу у вузлі зображення.

Деталі робочих процесів

Установіть модель зображень за замовчуванням на comfy/workflow:
{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
Приклад редагування з використанням еталонного зображення:Щоб увімкнути редагування зображень із завантаженим еталонним зображенням, додайте inputImageNodeId до конфігурації image:
{
  models: {
    providers: {
      comfy: {
        image: {
          workflowPath: "./workflows/edit-api.json",
          promptNodeId: "6",
          inputImageNodeId: "7",
          inputImageInputName: "image",
          outputNodeId: "9",
        },
      },
    },
  },
}
Установіть модель відео за замовчуванням на comfy/workflow:
{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}
Робочі процеси Comfy для відео підтримують текст-у-відео та зображення-у-відео через налаштований граф.
OpenClaw не передає вхідні відео в робочі процеси Comfy. Як вхідні дані підтримуються лише текстові запити та окремі еталонні зображення.
Вбудований Plugin реєструє провайдера генерації музики для визначених робочим процесом аудіо- або музичних результатів, доступного через спільний інструмент music_generate:
/tool music_generate prompt="Warm ambient synth loop with soft tape texture"
Використовуйте розділ конфігурації music, щоб вказати JSON вашого аудіоробочого процесу та вузол виводу.
Наявна конфігурація зображень верхнього рівня (без вкладеного розділу image) як і раніше працює:
{
  models: {
    providers: {
      comfy: {
        workflowPath: "./workflows/flux-api.json",
        promptNodeId: "6",
        outputNodeId: "9",
      },
    },
  },
}
OpenClaw розглядає цю застарілу форму як конфігурацію робочого процесу для зображень. Вам не потрібно негайно виконувати міграцію, але для нових налаштувань рекомендуються вкладені розділи image / video / music.
Якщо ви використовуєте лише генерацію зображень, застаріла пласка конфігурація та новий вкладений розділ image функціонально еквівалентні.
Для вбудованого Plugin існує live-покриття за явним увімкненням:
OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
Live-тест пропускає окремі сценарії для зображень, відео або музики, якщо не налаштовано відповідний розділ робочого процесу Comfy.

Пов’язане

Image Generation

Налаштування та використання інструмента генерації зображень.

Video Generation

Налаштування та використання інструмента генерації відео.

Music Generation

Налаштування генерації музики та аудіо.

Provider Directory

Огляд усіх провайдерів і посилань на моделі.

Configuration Reference

Повний довідник із конфігурації, включно з типовими значеннями агентів.