Muziekgeneratie

Prompt voor muziekgeneratie. Vereist voor action: "generate".

"status" retourneert de huidige sessietaak; "list" bekijkt providers.

Overschrijving van provider/model (bijvoorbeeld google/lyria-3-pro-preview, comfy/workflow).

Optionele songtekst wanneer de provider expliciete invoer van songteksten ondersteunt.

Vraag uitsluitend instrumentale uitvoer aan wanneer de provider dit ondersteunt.

Pad of URL van één referentieafbeelding.

Meerdere referentieafbeeldingen (maximaal 10 bij providers die dit ondersteunen).

Gewenste duur in seconden wanneer de provider duuraanwijzingen ondersteunt.

Aanwijzing voor de uitvoerindeling wanneer de provider dit ondersteunt.

Time-outs voor providerverzoeken zijn uitsluitend configuratie voor beheerders. OpenClaw gebruikt agents.defaults.mediaModels.music.timeoutMs wanneer dit is geconfigureerd, verhoogt waarden onder 120000ms tot 120000ms en gebruikt anders standaard 300000ms voor providerverzoeken.

Asynchroon gedrag

Muziekgeneratie met een sessie wordt als achtergrondtaak uitgevoerd:

• Achtergrondtaak: music_generate maakt een achtergrondtaak, retourneert onmiddellijk een gestart-/taakantwoord en plaatst de voltooide track later in een vervolgbericht van de agent.
• Dubbel werk voorkomen: zolang een taak queued of running is, retourneren latere aanroepen van music_generate in dezelfde sessie de taakstatus in plaats van een nieuwe generatie te starten. Gebruik action: "status" om dit expliciet te controleren. Een recent voltooid, overeenkomend verzoek wordt ook gedurende 2 minuten gededupliceerd.
• Status opzoeken: openclaw tasks list of openclaw tasks show <taskId> bekijkt de status in de wachtrij, tijdens uitvoering en na beëindiging.
• Wekken bij voltooiing: OpenClaw injecteert een interne voltooiingsgebeurtenis terug in dezelfde sessie, zodat het model zelf het gebruikersgerichte vervolgbericht kan schrijven.
• Promptaanwijzing: latere gebruikers-/handmatige beurten in dezelfde sessie krijgen een kleine runtime-aanwijzing wanneer een muziektaak al wordt uitgevoerd, zodat het model music_generate niet blind opnieuw aanroept.
• Fallback zonder sessie: directe/lokale contexten zonder een echte agentsessie worden inline uitgevoerd en retourneren het definitieve audioresultaat in dezelfde beurt.

Levenscyclus van taken

De muziektaak toont dezelfde statussen als het algemene taakregister (zie Achtergrondtaken voor de volledige toestandsmachine, inclusief timed_out, cancelled en lost). De meeste muziekuitvoeringen doorlopen:

Controleer de status via de CLI:

openclaw tasks listopenclaw tasks show <taskId>openclaw tasks cancel <taskId>

Configuratie

Modelselectie

{  agents: {    defaults: {      musicGenerationModel: {        primary: "google/lyria-3-clip-preview",        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],      },    },  },}

Selectievolgorde van providers

OpenClaw probeert providers in deze volgorde:

1. model-parameter uit de toolaanroep (als de agent er een opgeeft).
2. musicGenerationModel.primary uit de configuratie.
3. musicGenerationModel.fallbacks in volgorde.
4. Automatische detectie, uitsluitend met standaardproviders op basis van authenticatie:
   • eerst de huidige standaardprovider voor tekstmodellen, als deze ook muziekgeneratie aanbiedt;
   • de overige geregistreerde providers voor muziekgeneratie, alfabetisch op provider-id.

Als een provider mislukt, wordt de volgende kandidaat automatisch geprobeerd. Als alle kandidaten mislukken, bevat de fout details van elke poging.

Automatische fallback tussen geauthenticeerde providers is altijd ingeschakeld. Een model per aanroep blijft bepalend.

Opmerkingen over providers

Het juiste pad kiezen

• Gedeeld, ondersteund door providers wanneer je modelselectie, provider- failover en de ingebouwde asynchrone taak-/statusflow wilt.
• Pluginpad (ComfyUI) wanneer je een aangepaste workflowgraaf nodig hebt of een provider die geen deel uitmaakt van de gedeelde meegeleverde muziekfunctionaliteit.

Als je ComfyUI-specifiek gedrag debugt, raadpleeg dan ComfyUI. Als je gedeeld providergedrag debugt, begin dan met fal, Google (Gemini), MiniMax of OpenRouter.

Providerfunctionaliteitsmodi

Het gedeelde contract voor muziekgeneratie ondersteunt expliciete modusdeclaraties:

• generate voor generatie op basis van alleen een prompt.
• edit wanneer het verzoek een of meer referentieafbeeldingen bevat.

Nieuwe providerimplementaties moeten bij voorkeur expliciete modusblokken gebruiken:

capabilities: {  generate: {    maxTracks: 1,    supportsLyrics: true,    supportsFormat: true,  },  edit: {    enabled: true,    maxTracks: 1,    maxInputImages: 1,    supportsFormat: true,  },}

Oudere platte velden zoals maxInputImages, supportsLyrics en supportsFormat zijn niet voldoende om bewerkingsondersteuning aan te geven. Providers moeten generate en edit expliciet declareren, zodat livetests, contracttests en de gedeelde music_generate-tool de modusondersteuning deterministisch kunnen valideren.

Livetests

Optionele live testdekking voor de gedeelde meegeleverde providers (fal, Google, MiniMax, OpenRouter):

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Gelijkwaardige repowrapper die hetzelfde testbestand uitvoert:

pnpm test:live:media:music

Dit livebestand gebruikt standaard reeds geëxporteerde provideromgevingsvariabelen vóór opgeslagen authenticatieprofielen en voert zowel generate als de gedeclareerde edit-dekking uit wanneer de provider de bewerkingsmodus inschakelt. Huidige dekking:

• google: generate plus edit
• fal: alleen generate
• minimax: alleen generate
• openrouter: generate plus edit
• comfy: afzonderlijke Comfy-livetestdekking, geen onderdeel van de gedeelde providerreeks

Optionele live testdekking voor het meegeleverde ComfyUI-muziekpad:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Het Comfy-livebestand dekt ook Comfy-workflows voor afbeeldingen en video's wanneer die secties zijn geconfigureerd.

Gerelateerd

• Achtergrondtaken — taakregistratie voor losgekoppelde music_generate-uitvoeringen
• ComfyUI
• Configuratiereferentie — musicGenerationModel-configuratie
• Google (Gemini)
• MiniMax
• Modellen — modelconfiguratie en failover
• Overzicht van tools