Het hulpprogrammaDocumentation Index
Fetch the complete documentation index at: https://docs.openclaw.ai/llms.txt
Use this file to discover all available pages before exploring further.
music_generate laat de agent muziek of audio maken via de
gedeelde muziekgeneratiemogelijkheid met geconfigureerde providers — Google,
MiniMax en workflow-geconfigureerde ComfyUI op dit moment.
Voor sessie-ondersteunde agentuitvoeringen start OpenClaw muziekgeneratie als een
achtergrondtaak, volgt die in het taaklogboek en wekt de agent daarna opnieuw
wanneer het nummer klaar is, zodat de agent de voltooide audio terug kan posten
in het oorspronkelijke kanaal.
Het ingebouwde gedeelde hulpprogramma verschijnt alleen wanneer ten minste één
muziekgeneratieprovider beschikbaar is. Als je
music_generate niet ziet in de
hulpprogramma’s van je agent, configureer dan agents.defaults.musicGenerationModel
of stel een provider-API-sleutel in.Snel starten
- Gedeeld en provider-ondersteund
- ComfyUI-workflow
Authenticatie configureren
Stel een API-sleutel in voor ten minste één provider — bijvoorbeeld
GEMINI_API_KEY of MINIMAX_API_KEY.Ondersteunde providers
| Provider | Standaardmodel | Referentie-invoer | Ondersteunde bedieningselementen | Auth |
|---|---|---|---|---|
| ComfyUI | workflow | Tot 1 afbeelding | Door workflow gedefinieerde muziek of audio | COMFY_API_KEY, COMFY_CLOUD_API_KEY |
lyria-3-clip-preview | Tot 10 afbeeldingen | lyrics, instrumental, format | GEMINI_API_KEY, GOOGLE_API_KEY | |
| MiniMax | music-2.6 | Geen | lyrics, instrumental, durationSeconds, format=mp3 | MINIMAX_API_KEY of MiniMax OAuth |
Mogelijkhedenmatrix
Het expliciete moduscontract dat wordt gebruikt doormusic_generate,
contracttests en de gedeelde live sweep:
| Provider | generate | edit | Bewerkingslimiet | Gedeelde live-lanes |
|---|---|---|---|---|
| ComfyUI | ✓ | ✓ | 1 afbeelding | Niet in de gedeelde sweep; gedekt door extensions/comfy/comfy.live.test.ts |
| ✓ | ✓ | 10 afbeeldingen | generate, edit | |
| MiniMax | ✓ | — | Geen | generate |
action: "list" om beschikbare gedeelde providers en modellen tijdens
runtime te inspecteren:
action: "status" om de actieve sessie-ondersteunde muziektaak te
inspecteren:
Hulpprogrammaparameters
Muziekgeneratieprompt. Vereist voor
action: "generate"."status" retourneert de huidige sessietaak; "list" inspecteert providers.Provider-/modeloverride (bijv.
google/lyria-3-pro-preview,
comfy/workflow).Optionele songtekst wanneer de provider expliciete songtekstinvoer ondersteunt.
Vraag om alleen-instrumentale uitvoer wanneer de provider dit ondersteunt.
Pad of URL van één referentieafbeelding.
Meerdere referentieafbeeldingen (tot 10 bij ondersteunende providers).
Doelduur in seconden wanneer de provider duurhints ondersteunt.
Hint voor uitvoerformaat wanneer de provider dit ondersteunt.
Hint voor uitvoerbestandsnaam.
Optionele time-out voor providerverzoeken in milliseconden.
Niet alle providers ondersteunen alle parameters. OpenClaw valideert nog steeds
harde limieten, zoals aantallen invoeritems, vóór indiening. Wanneer een provider
duur ondersteunt maar een korter maximum gebruikt dan de gevraagde waarde, klemt
OpenClaw dit af naar de dichtstbij ondersteunde duur. Echt niet-ondersteunde
optionele hints worden genegeerd met een waarschuwing wanneer de geselecteerde
provider of het geselecteerde model ze niet kan honoreren. Hulpprogrammaresultaten
rapporteren toegepaste instellingen;
details.normalization legt elke mapping
van gevraagd naar toegepast vast.Asynchroon gedrag
Sessie-ondersteunde muziekgeneratie wordt uitgevoerd als achtergrondtaak:- Achtergrondtaak:
music_generatemaakt een achtergrondtaak, retourneert onmiddellijk een gestart-/taakrespons en post het voltooide nummer later in een opvolgend agentbericht. - Dubbele aanroepen voorkomen: terwijl een taak
queuedofrunningis, retourneren lateremusic_generate-aanroepen in dezelfde sessie de taakstatus in plaats van een nieuwe generatie te starten. Gebruikaction: "status"om dit expliciet te controleren. - Status opzoeken:
openclaw tasks listofopenclaw tasks show <taskId>inspecteert wachtrij-, lopende en terminale status. - Voltooiingswake: OpenClaw injecteert een interne voltooiingsgebeurtenis terug in dezelfde sessie, zodat het model zelf de gebruikersgerichte follow-up kan schrijven.
- Prompthint: latere gebruikers-/handmatige beurten in dezelfde sessie
krijgen een kleine runtimehint wanneer er al een muziektaak loopt, zodat het
model niet blind opnieuw
music_generateaanroept. - Fallback zonder sessie: directe/lokale contexten zonder echte agentsessie worden inline uitgevoerd en retourneren het uiteindelijke audioresultaat in dezelfde beurt.
Taaklevenscyclus
| Status | Betekenis |
|---|---|
queued | Taak aangemaakt, wachtend tot de provider deze accepteert. |
running | Provider is aan het verwerken (meestal 30 seconden tot 3 minuten, afhankelijk van provider en duur). |
succeeded | Nummer klaar; de agent wordt gewekt en post het in het gesprek. |
failed | Providerfout of time-out; de agent wordt gewekt met foutdetails. |
Configuratie
Modelselectie
Volgorde voor providerselectie
OpenClaw probeert providers in deze volgorde:model-parameter uit de hulpprogramma-aanroep (als de agent er een opgeeft).musicGenerationModel.primaryuit de configuratie.musicGenerationModel.fallbacksop volgorde.- Automatische detectie met alleen auth-ondersteunde providerstandaarden:
- huidige standaardprovider eerst;
- resterende geregistreerde muziekgeneratieproviders in volgorde van provider-id.
agents.defaults.mediaGenerationAutoProviderFallback: false in om alleen
expliciete vermeldingen in model, primary en fallbacks te gebruiken.
Providernotities
ComfyUI
ComfyUI
Workflowgestuurd en afhankelijk van de geconfigureerde graph plus
knooppuntmapping voor prompt-/uitvoervelden. De meegeleverde
comfy-plugin
koppelt aan het gedeelde music_generate-hulpprogramma via het
providerregister voor muziekgeneratie.Google (Lyria 3)
Google (Lyria 3)
Gebruikt Lyria 3-batchgeneratie. De huidige meegeleverde flow ondersteunt
prompt, optionele songtekst en optionele referentieafbeeldingen.
MiniMax
MiniMax
Gebruikt het batchendpoint
music_generation. Ondersteunt prompt, optionele
songtekst, instrumentale modus, duursturing en mp3-uitvoer via
minimax API-sleutelauthenticatie of minimax-portal OAuth.Het juiste pad kiezen
- Gedeeld en provider-ondersteund wanneer je modelselectie, providerfailover en de ingebouwde asynchrone taak-/statusflow wilt.
- Plugin-pad (ComfyUI) wanneer je een aangepaste workflowgraph nodig hebt of een provider die geen onderdeel is van de gedeelde meegeleverde muziekmogelijkheid.
Providermodi voor mogelijkheden
Het gedeelde muziekgeneratiecontract ondersteunt expliciete modusdeclaraties:generatevoor prompt-only generatie.editwanneer de aanvraag één of meer referentieafbeeldingen bevat.
maxInputImages, supportsLyrics en
supportsFormat zijn niet genoeg om bewerkingsondersteuning te adverteren.
Providers moeten generate en edit expliciet declareren, zodat live tests,
contracttests en het gedeelde music_generate-hulpprogramma modusondersteuning
deterministisch kunnen valideren.
Live tests
Opt-in livedekking voor de gedeelde meegeleverde providers:~/.profile, geeft
standaard de voorkeur aan live/env-API-sleutels boven opgeslagen authprofielen,
en voert zowel generate als gedeclareerde edit-dekking uit wanneer de
provider bewerkingsmodus inschakelt. Dekking op dit moment:
google:generatepluseditminimax: alleengeneratecomfy: afzonderlijke Comfy-livedekking, niet de gedeelde providersweep
Gerelateerd
- Achtergrondtaken — taaktracking voor losgekoppelde
music_generate-runs - ComfyUI
- Configuratiereferentie —
musicGenerationModel-configuratie - Google (Gemini)
- MiniMax
- Modellen — modelconfiguratie en failover
- Overzicht van tools