Naar hoofdinhoud gaan

Documentation Index

Fetch the complete documentation index at: https://docs.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

Het hulpprogramma music_generate laat de agent muziek of audio maken via de gedeelde muziekgeneratiemogelijkheid met geconfigureerde providers — Google, MiniMax en workflow-geconfigureerde ComfyUI op dit moment. Voor sessie-ondersteunde agentuitvoeringen start OpenClaw muziekgeneratie als een achtergrondtaak, volgt die in het taaklogboek en wekt de agent daarna opnieuw wanneer het nummer klaar is, zodat de agent de voltooide audio terug kan posten in het oorspronkelijke kanaal.
Het ingebouwde gedeelde hulpprogramma verschijnt alleen wanneer ten minste één muziekgeneratieprovider beschikbaar is. Als je music_generate niet ziet in de hulpprogramma’s van je agent, configureer dan agents.defaults.musicGenerationModel of stel een provider-API-sleutel in.

Snel starten

1

Authenticatie configureren

Stel een API-sleutel in voor ten minste één provider — bijvoorbeeld GEMINI_API_KEY of MINIMAX_API_KEY.
2

Een standaardmodel kiezen (optioneel)

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}
3

Vraag het de agent

“Genereer een opgewekt synthpopnummer over een nachtelijke rit door een neonstad.”De agent roept music_generate automatisch aan. Geen allow-listing voor hulpprogramma’s nodig.
Voor directe synchrone contexten zonder sessie-ondersteunde agentuitvoering valt het ingebouwde hulpprogramma nog steeds terug op inline generatie en retourneert het het uiteindelijke mediapad in het hulpprogrammaresultaat.
Voorbeeldprompts:
Generate a cinematic piano track with soft strings and no vocals.
Generate an energetic chiptune loop about launching a rocket at sunrise.

Ondersteunde providers

ProviderStandaardmodelReferentie-invoerOndersteunde bedieningselementenAuth
ComfyUIworkflowTot 1 afbeeldingDoor workflow gedefinieerde muziek of audioCOMFY_API_KEY, COMFY_CLOUD_API_KEY
Googlelyria-3-clip-previewTot 10 afbeeldingenlyrics, instrumental, formatGEMINI_API_KEY, GOOGLE_API_KEY
MiniMaxmusic-2.6Geenlyrics, instrumental, durationSeconds, format=mp3MINIMAX_API_KEY of MiniMax OAuth

Mogelijkhedenmatrix

Het expliciete moduscontract dat wordt gebruikt door music_generate, contracttests en de gedeelde live sweep:
ProvidergenerateeditBewerkingslimietGedeelde live-lanes
ComfyUI1 afbeeldingNiet in de gedeelde sweep; gedekt door extensions/comfy/comfy.live.test.ts
Google10 afbeeldingengenerate, edit
MiniMaxGeengenerate
Gebruik action: "list" om beschikbare gedeelde providers en modellen tijdens runtime te inspecteren:
/tool music_generate action=list
Gebruik action: "status" om de actieve sessie-ondersteunde muziektaak te inspecteren:
/tool music_generate action=status
Voorbeeld van directe generatie:
/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true

Hulpprogrammaparameters

prompt
string
vereist
Muziekgeneratieprompt. Vereist voor action: "generate".
action
"generate" | "status" | "list"
standaard:"generate"
"status" retourneert de huidige sessietaak; "list" inspecteert providers.
model
string
Provider-/modeloverride (bijv. google/lyria-3-pro-preview, comfy/workflow).
lyrics
string
Optionele songtekst wanneer de provider expliciete songtekstinvoer ondersteunt.
instrumental
boolean
Vraag om alleen-instrumentale uitvoer wanneer de provider dit ondersteunt.
image
string
Pad of URL van één referentieafbeelding.
images
string[]
Meerdere referentieafbeeldingen (tot 10 bij ondersteunende providers).
durationSeconds
number
Doelduur in seconden wanneer de provider duurhints ondersteunt.
format
"mp3" | "wav"
Hint voor uitvoerformaat wanneer de provider dit ondersteunt.
filename
string
Hint voor uitvoerbestandsnaam.
timeoutMs
number
Optionele time-out voor providerverzoeken in milliseconden.
Niet alle providers ondersteunen alle parameters. OpenClaw valideert nog steeds harde limieten, zoals aantallen invoeritems, vóór indiening. Wanneer een provider duur ondersteunt maar een korter maximum gebruikt dan de gevraagde waarde, klemt OpenClaw dit af naar de dichtstbij ondersteunde duur. Echt niet-ondersteunde optionele hints worden genegeerd met een waarschuwing wanneer de geselecteerde provider of het geselecteerde model ze niet kan honoreren. Hulpprogrammaresultaten rapporteren toegepaste instellingen; details.normalization legt elke mapping van gevraagd naar toegepast vast.

Asynchroon gedrag

Sessie-ondersteunde muziekgeneratie wordt uitgevoerd als achtergrondtaak:
  • Achtergrondtaak: music_generate maakt een achtergrondtaak, retourneert onmiddellijk een gestart-/taakrespons en post het voltooide nummer later in een opvolgend agentbericht.
  • Dubbele aanroepen voorkomen: terwijl een taak queued of running is, retourneren latere music_generate-aanroepen in dezelfde sessie de taakstatus in plaats van een nieuwe generatie te starten. Gebruik action: "status" om dit expliciet te controleren.
  • Status opzoeken: openclaw tasks list of openclaw tasks show <taskId> inspecteert wachtrij-, lopende en terminale status.
  • Voltooiingswake: OpenClaw injecteert een interne voltooiingsgebeurtenis terug in dezelfde sessie, zodat het model zelf de gebruikersgerichte follow-up kan schrijven.
  • Prompthint: latere gebruikers-/handmatige beurten in dezelfde sessie krijgen een kleine runtimehint wanneer er al een muziektaak loopt, zodat het model niet blind opnieuw music_generate aanroept.
  • Fallback zonder sessie: directe/lokale contexten zonder echte agentsessie worden inline uitgevoerd en retourneren het uiteindelijke audioresultaat in dezelfde beurt.

Taaklevenscyclus

StatusBetekenis
queuedTaak aangemaakt, wachtend tot de provider deze accepteert.
runningProvider is aan het verwerken (meestal 30 seconden tot 3 minuten, afhankelijk van provider en duur).
succeededNummer klaar; de agent wordt gewekt en post het in het gesprek.
failedProviderfout of time-out; de agent wordt gewekt met foutdetails.
Controleer de status via de CLI:
openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

Configuratie

Modelselectie

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.6"],
      },
    },
  },
}

Volgorde voor providerselectie

OpenClaw probeert providers in deze volgorde:
  1. model-parameter uit de hulpprogramma-aanroep (als de agent er een opgeeft).
  2. musicGenerationModel.primary uit de configuratie.
  3. musicGenerationModel.fallbacks op volgorde.
  4. Automatische detectie met alleen auth-ondersteunde providerstandaarden:
    • huidige standaardprovider eerst;
    • resterende geregistreerde muziekgeneratieproviders in volgorde van provider-id.
Als een provider faalt, wordt automatisch de volgende kandidaat geprobeerd. Als ze allemaal falen, bevat de fout details van elke poging. Stel agents.defaults.mediaGenerationAutoProviderFallback: false in om alleen expliciete vermeldingen in model, primary en fallbacks te gebruiken.

Providernotities

Workflowgestuurd en afhankelijk van de geconfigureerde graph plus knooppuntmapping voor prompt-/uitvoervelden. De meegeleverde comfy-plugin koppelt aan het gedeelde music_generate-hulpprogramma via het providerregister voor muziekgeneratie.
Gebruikt Lyria 3-batchgeneratie. De huidige meegeleverde flow ondersteunt prompt, optionele songtekst en optionele referentieafbeeldingen.
Gebruikt het batchendpoint music_generation. Ondersteunt prompt, optionele songtekst, instrumentale modus, duursturing en mp3-uitvoer via minimax API-sleutelauthenticatie of minimax-portal OAuth.

Het juiste pad kiezen

  • Gedeeld en provider-ondersteund wanneer je modelselectie, providerfailover en de ingebouwde asynchrone taak-/statusflow wilt.
  • Plugin-pad (ComfyUI) wanneer je een aangepaste workflowgraph nodig hebt of een provider die geen onderdeel is van de gedeelde meegeleverde muziekmogelijkheid.
Als je ComfyUI-specifiek gedrag debugt, zie ComfyUI. Als je gedeeld providergedrag debugt, begin dan met Google (Gemini) of MiniMax.

Providermodi voor mogelijkheden

Het gedeelde muziekgeneratiecontract ondersteunt expliciete modusdeclaraties:
  • generate voor prompt-only generatie.
  • edit wanneer de aanvraag één of meer referentieafbeeldingen bevat.
Nieuwe providerimplementaties moeten bij voorkeur expliciete modusblokken gebruiken:
capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}
Legacy platte velden zoals maxInputImages, supportsLyrics en supportsFormat zijn niet genoeg om bewerkingsondersteuning te adverteren. Providers moeten generate en edit expliciet declareren, zodat live tests, contracttests en het gedeelde music_generate-hulpprogramma modusondersteuning deterministisch kunnen valideren.

Live tests

Opt-in livedekking voor de gedeelde meegeleverde providers:
OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts
Repo-wrapper:
pnpm test:live:media music
Dit livebestand laadt ontbrekende provider-env-vars uit ~/.profile, geeft standaard de voorkeur aan live/env-API-sleutels boven opgeslagen authprofielen, en voert zowel generate als gedeclareerde edit-dekking uit wanneer de provider bewerkingsmodus inschakelt. Dekking op dit moment:
  • google: generate plus edit
  • minimax: alleen generate
  • comfy: afzonderlijke Comfy-livedekking, niet de gedeelde providersweep
Opt-in livedekking voor het meegeleverde ComfyUI-muziekpad:
OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
Het Comfy-livebestand dekt ook comfy-afbeeldings- en videoworkflows wanneer die secties zijn geconfigureerd.

Gerelateerd