​

Generowanie muzyki

​

Szybki start

​

Generowanie oparte na współdzielonym dostawcy

1. Ustaw klucz API dla co najmniej jednego dostawcy, na przykład GEMINI_API_KEY lub MINIMAX_API_KEY.
2. Opcjonalnie ustaw preferowany model:

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

3. Poproś agenta: „Wygeneruj energiczny synthpopowy utwór o nocnej jeździe przez neonowe miasto.”

Generate a cinematic piano track with soft strings and no vocals.

Generate an energetic chiptune loop about launching a rocket at sunrise.

​

Generowanie Comfy sterowane workflow

1. Skonfiguruj models.providers.comfy.music z workflow JSON oraz węzłami promptu/wyjścia.
2. Jeśli używasz Comfy Cloud, ustaw COMFY_API_KEY lub COMFY_CLOUD_API_KEY.
3. Poproś agenta o muzykę lub wywołaj narzędzie bezpośrednio.

/tool music_generate prompt="Warm ambient synth loop with soft tape texture"

​

Obsługa współdzielonych bundlowanych dostawców

​

Zadeklarowana macierz możliwości

/tool music_generate action=list

/tool music_generate action=status

/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true

​

Parametry wbudowanego narzędzia

​

Zachowanie asynchroniczne dla ścieżki opartej na współdzielonym dostawcy

• Uruchomienia agentów oparte na sesji: music_generate tworzy zadanie w tle, natychmiast zwraca odpowiedź o rozpoczęciu/zadaniu, a gotowy utwór publikuje później w kolejnej wiadomości agenta.
• Zapobieganie duplikatom: dopóki zadanie w tle ma stan queued lub running, późniejsze wywołania music_generate w tej samej sesji zwracają stan zadania zamiast rozpoczynać nowe generowanie.
• Sprawdzanie statusu: użyj action: "status", aby sprawdzić aktywne zadanie muzyczne oparte na sesji bez rozpoczynania nowego.
• Śledzenie zadań: użyj openclaw tasks list lub openclaw tasks show <taskId>, aby sprawdzić stan queued, running i końcowy status generowania.
• Wybudzenie po zakończeniu: OpenClaw wstrzykuje wewnętrzne zdarzenie zakończenia z powrotem do tej samej sesji, aby model mógł sam napisać widoczną dla użytkownika wiadomość uzupełniającą.
• Wskazówka dla promptu: późniejsze tury użytkownika/ręczne w tej samej sesji dostają małą wskazówkę runtime, gdy zadanie muzyczne jest już w toku, aby model nie wywoływał ślepo music_generate ponownie.
• Fallback bez sesji: bezpośrednie/lokalne konteksty bez rzeczywistej sesji agenta nadal działają inline i zwracają końcowy wynik audio w tej samej turze.

​

Cykl życia zadania

1. queued — zadanie utworzone, oczekuje na przyjęcie przez dostawcę.
2. running — dostawca przetwarza zadanie (zwykle od 30 sekund do 3 minut, zależnie od dostawcy i długości).
3. succeeded — utwór gotowy; agent budzi się i publikuje go w rozmowie.
4. failed — błąd dostawcy lub timeout; agent budzi się ze szczegółami błędu.

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Konfiguracja

​

Wybór modelu

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.5+"],
      },
    },
  },
}

​

Kolejność wyboru dostawców

1. parametr model z wywołania narzędzia, jeśli agent go określi
2. musicGenerationModel.primary z konfiguracji
3. musicGenerationModel.fallbacks w podanej kolejności
4. automatyczne wykrywanie przy użyciu tylko domyślnych dostawców opartych na auth:
   • najpierw bieżący domyślny dostawca
   • potem pozostali zarejestrowani dostawcy generowania muzyki w kolejności identyfikatorów dostawców

​

Uwagi dotyczące dostawców

• Google używa wsadowego generowania Lyria 3. Bieżący bundlowany przepływ obsługuje prompt, opcjonalny tekst piosenki i opcjonalne obrazy referencyjne.
• MiniMax używa wsadowego endpointu music_generation. Bieżący bundlowany przepływ obsługuje prompt, opcjonalny tekst piosenki, tryb instrumentalny, sterowanie długością i wyjście mp3.
• Obsługa ComfyUI jest sterowana przez workflow i zależy od skonfigurowanego grafu oraz mapowania węzłów dla pól promptu/wyjścia.

​

Tryby możliwości dostawców

• generate dla generowania wyłącznie z promptu
• edit, gdy żądanie zawiera jeden lub więcej obrazów referencyjnych

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Wybór właściwej ścieżki

• Użyj ścieżki opartej na współdzielonym dostawcy, jeśli chcesz mieć wybór modelu, failover dostawców i wbudowany asynchroniczny przepływ zadanie/status.
• Użyj ścieżki pluginu, takiej jak ComfyUI, jeśli potrzebujesz niestandardowego grafu workflow albo dostawcy, który nie jest częścią współdzielonej bundlowanej możliwości generowania muzyki.
• Jeśli debugujesz zachowanie specyficzne dla ComfyUI, zobacz ComfyUI. Jeśli debugujesz zachowanie współdzielonego dostawcy, zacznij od Google (Gemini) lub MiniMax.

​

Testy live

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media music

• google: generate oraz edit
• minimax: tylko generate
• comfy: osobne testy live Comfy, bez współdzielonego sweep dostawców

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Powiązane

• Background Tasks - śledzenie zadań dla odłączonych uruchomień music_generate
• Configuration Reference - konfiguracja musicGenerationModel
• ComfyUI
• Google (Gemini)
• MiniMax
• Models - konfiguracja modeli i failover
• Tools Overview