Generazione musicale

Prompt di generazione musicale. Obbligatorio per action: "generate".

"status" restituisce l'attività di sessione corrente; "list" ispeziona i provider.

Override provider/modello (ad esempio google/lyria-3-pro-preview, comfy/workflow).

Testo facoltativo quando il provider supporta l'input esplicito dei testi.

Richiede output solo strumentale quando il provider lo supporta.

Percorso o URL di una singola immagine di riferimento.

Più immagini di riferimento (fino a 10 sui provider che le supportano).

Durata target in secondi quando il provider supporta i suggerimenti di durata.

Suggerimento del formato di output quando il provider lo supporta.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Timeout facoltativo della richiesta al provider in millisecondi. Quando omesso, OpenClaw usa agents.defaults.musicGenerationModel.timeoutMs se configurato. I valori inferiori a 10000ms vengono aumentati a 10000ms e segnalati nel risultato dello strumento. OPENCLAW_DOCS_MARKER:paramClose:

Comportamento asincrono

La generazione musicale basata su sessione viene eseguita come attività in background:

• Attività in background: music_generate crea un'attività in background, restituisce subito una risposta di avvio/attività e pubblica la traccia finita più tardi in un messaggio di follow-up dell'agente.
• Prevenzione dei duplicati: mentre un'attività è queued o running, le chiamate successive a music_generate nella stessa sessione restituiscono lo stato dell'attività invece di avviare un'altra generazione. Usa action: "status" per controllare esplicitamente.
• Ricerca dello stato: openclaw tasks list o openclaw tasks show <taskId> ispeziona gli stati in coda, in esecuzione e terminali.
• Risveglio di completamento: OpenClaw inietta un evento interno di completamento nella stessa sessione, così il modello può scrivere autonomamente il follow-up visibile all'utente.
• Suggerimento nel prompt: i turni successivi dell'utente/manuali nella stessa sessione ricevono un piccolo suggerimento di runtime quando un'attività musicale è già in corso, così il modello non richiama alla cieca music_generate.
• Fallback senza sessione: i contesti diretti/locali senza una reale sessione dell'agente vengono eseguiti inline e restituiscono il risultato audio finale nello stesso turno.

Ciclo di vita dell'attività

Controlla lo stato dalla CLI:

openclaw tasks listopenclaw tasks show <taskId>openclaw tasks cancel <taskId>

Configurazione

Selezione del modello

{  agents: {    defaults: {      musicGenerationModel: {        primary: "google/lyria-3-clip-preview",        fallbacks: ["minimax/music-2.6"],      },    },  },}

Ordine di selezione dei provider

OpenClaw prova i provider in questo ordine:

1. Parametro model della chiamata allo strumento (se l'agente ne specifica uno).
2. musicGenerationModel.primary dalla configurazione.
3. musicGenerationModel.fallbacks in ordine.
4. Rilevamento automatico usando solo valori predefiniti dei provider basati su autenticazione:
   • prima il provider predefinito corrente;
   • poi i restanti provider di generazione musicale registrati in ordine di id provider.

Se un provider fallisce, il candidato successivo viene provato automaticamente. Se tutti falliscono, l'errore include i dettagli di ogni tentativo.

Imposta agents.defaults.mediaGenerationAutoProviderFallback: false per usare solo voci esplicite model, primary e fallbacks.

Note sui provider

Scegliere il percorso giusto

• Basato su provider condiviso quando vuoi selezione del modello, failover dei provider e il flusso integrato asincrono di attività/stato.
• Percorso Plugin (ComfyUI) quando ti serve un grafo di workflow personalizzato o un provider che non fa parte della capacità musicale condivisa inclusa.

Se stai eseguendo il debug di un comportamento specifico di ComfyUI, consulta ComfyUI. Se stai eseguendo il debug di un comportamento del provider condiviso, inizia con Google (Gemini) o MiniMax.

Modalità delle capacità del provider

Il contratto condiviso di generazione musicale supporta dichiarazioni di modalità esplicite:

• generate per la generazione solo da prompt.
• edit quando la richiesta include una o più immagini di riferimento.

Le nuove implementazioni dei provider dovrebbero preferire blocchi di modalità espliciti:

capabilities: {  generate: {    maxTracks: 1,    supportsLyrics: true,    supportsFormat: true,  },  edit: {    enabled: true,    maxTracks: 1,    maxInputImages: 1,    supportsFormat: true,  },}

I campi flat legacy come maxInputImages, supportsLyrics e supportsFormat non sono sufficienti per dichiarare il supporto di modifica. I provider dovrebbero dichiarare generate e edit esplicitamente, così i test live, i test del contratto e lo strumento condiviso music_generate possono convalidare il supporto delle modalità in modo deterministico.

Test live

Copertura live opt-in per i provider condivisi inclusi:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Wrapper del repository:

pnpm test:live:media music

Questo file live carica le variabili env del provider mancanti da ~/.profile, preferisce per impostazione predefinita le chiavi API live/env ai profili di autenticazione archiviati e viene eseguito sia per la copertura generate sia per la copertura edit dichiarata quando il provider abilita la modalità di modifica. Copertura attuale:

• google: generate più edit
• minimax: solo generate
• comfy: copertura live Comfy separata, non lo sweep condiviso dei provider

Copertura live opt-in per il percorso musicale ComfyUI incluso:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Il file live Comfy copre anche i workflow di immagini e video comfy quando quelle sezioni sono configurate.

Correlati

• Attività in background — monitoraggio delle attività per esecuzioni music_generate scollegate
• ComfyUI
• Riferimento di configurazione — configurazione musicGenerationModel
• Google (Gemini)
• MiniMax
• Modelli — configurazione del modello e failover
• Panoramica degli strumenti