​

Генерація музики

​

Швидкий старт

​

Генерація на основі спільного провайдера

1. Задайте API-ключ принаймні для одного провайдера, наприклад GEMINI_API_KEY або MINIMAX_API_KEY.
2. За потреби задайте бажану модель:

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

3. Попросіть агента: “Створи енергійний synthpop-трек про нічну поїздку через неонове місто.”

Створи кінематографічний фортепіанний трек із м’якими струнними та без вокалу.

Створи енергійний chiptune-луп про запуск ракети на світанку.

​

Генерація через Comfy на основі workflow

1. Налаштуйте models.providers.comfy.music за допомогою JSON workflow і вузлів prompt/output.
2. Якщо ви використовуєте Comfy Cloud, задайте COMFY_API_KEY або COMFY_CLOUD_API_KEY.
3. Попросіть агента створити музику або викличте інструмент напряму.

/tool music_generate prompt="Теплий ambient synth loop з м’якою касетною текстурою"

​

Підтримка спільних вбудованих провайдерів

​

Матриця оголошених можливостей

/tool music_generate action=list

/tool music_generate action=status

/tool music_generate prompt="Мрійливий lo-fi hip hop з вініловою текстурою та ніжним дощем" instrumental=true

​

Параметри вбудованого інструмента

​

Асинхронна поведінка для шляху на основі спільного провайдера

• Запуски агента з прив’язкою до сеансу: music_generate створює фонове завдання, одразу повертає відповідь про старт/завдання і публікує готовий трек пізніше в подальшому повідомленні агента.
• Запобігання дублюванню: поки це фонове завдання має стан queued або running, наступні виклики music_generate у тому самому сеансі повертають статус завдання замість запуску нової генерації.
• Перевірка статусу: використовуйте action: "status", щоб переглянути активне завдання генерації музики, прив’язане до сеансу, без запуску нового.
• Відстеження завдань: використовуйте openclaw tasks list або openclaw tasks show <taskId>, щоб перевірити стани в черзі, у виконанні та завершальні стани генерації.
• Пробудження після завершення: OpenClaw вставляє внутрішню подію завершення назад у той самий сеанс, щоб модель могла сама написати користувацьке подальше повідомлення.
• Підказка в prompt: у наступних користувацьких/ручних ходах у тому самому сеансі з’являється невелика runtime-підказка, коли завдання музики вже виконується, щоб модель не викликала music_generate знову навмання.
• Резервний варіант без сеансу: прямі/локальні контексти без реального сеансу агента все одно виконуються вбудовано й повертають фінальний результат аудіо в тому самому ході.

​

Життєвий цикл завдання

1. queued — завдання створено, очікує, поки провайдер його прийме.
2. running — провайдер виконує обробку (зазвичай від 30 секунд до 3 хвилин залежно від провайдера та тривалості).
3. succeeded — трек готовий; агент активується й публікує його в розмову.
4. failed — помилка провайдера або тайм-аут; агент активується з деталями помилки.

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Налаштування

​

Вибір моделі

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.5+"],
      },
    },
  },
}

​

Порядок вибору провайдера

1. параметр model із виклику інструмента, якщо агент його задає
2. musicGenerationModel.primary із конфігурації
3. musicGenerationModel.fallbacks у вказаному порядку
4. Автовиявлення лише з використанням стандартних налаштувань провайдера на основі авторизації:
   • спочатку поточний провайдер за замовчуванням
   • решта зареєстрованих провайдерів генерації музики в порядку ідентифікаторів провайдерів

​

Примітки щодо провайдерів

• Google використовує пакетну генерацію Lyria 3. Поточний вбудований потік підтримує prompt, необов’язковий текст пісні та необов’язкові опорні зображення.
• MiniMax використовує пакетний endpoint music_generation. Поточний вбудований потік підтримує prompt, необов’язковий текст пісні, інструментальний режим, керування тривалістю та вивід у форматі mp3.
• Підтримка ComfyUI керується workflow і залежить від налаштованого графа та зіставлення вузлів для полів prompt/output.

​

Режими можливостей провайдера

• generate для генерації лише за prompt
• edit, коли запит містить одне або кілька опорних зображень

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Як вибрати правильний шлях

• Використовуйте шлях на основі спільного провайдера, якщо вам потрібні вибір моделі, перемикання між провайдерами у разі збоїв і вбудований асинхронний потік завдань/статусу.
• Використовуйте шлях через плагін, наприклад ComfyUI, якщо вам потрібен власний граф workflow або провайдер, який не входить до спільної вбудованої можливості генерації музики.
• Якщо ви налагоджуєте специфічну поведінку ComfyUI, див. ComfyUI. Якщо ви налагоджуєте поведінку спільного провайдера, почніть із Google (Gemini) або MiniMax.

​

Live-тести

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media music

• google: generate плюс edit
• minimax: лише generate
• comfy: окреме live-покриття Comfy, не спільний sweep провайдерів

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Пов’язане

• Фонові завдання - відстеження завдань для відокремлених запусків music_generate
• Довідник із конфігурації - конфігурація musicGenerationModel
• ComfyUI
• Google (Gemini)
• MiniMax
• Моделі - конфігурація моделей і перемикання при збоях
• Огляд інструментів