Generación de música

Prompt de generación de música. Obligatorio para action: "generate".

"status" devuelve la tarea de sesión actual; "list" inspecciona proveedores.

Sobrescritura de proveedor/modelo (p. ej., google/lyria-3-pro-preview, comfy/workflow).

Letras opcionales cuando el proveedor admite entrada explícita de letras.

Solicita una salida solo instrumental cuando el proveedor la admite.

Ruta o URL de una única imagen de referencia.

Varias imágenes de referencia (hasta 10 en proveedores compatibles).

Duración objetivo en segundos cuando el proveedor admite indicaciones de duración.

Indicación de formato de salida cuando el proveedor la admite.

Los tiempos de espera de solicitud del proveedor son solo configuración del operador. OpenClaw usa agents.defaults.musicGenerationModel.timeoutMs cuando está configurado, eleva los valores por debajo de 120000 ms a 120000 ms y, de lo contrario, usa 300000 ms como valor predeterminado para las solicitudes de proveedor.

Comportamiento asíncrono

La generación de música respaldada por sesión se ejecuta como tarea en segundo plano:

• Tarea en segundo plano: music_generate crea una tarea en segundo plano, devuelve de inmediato una respuesta de inicio/tarea y publica la pista terminada más tarde en un mensaje de seguimiento del agente.
• Prevención de duplicados: mientras una tarea está en queued o running, las llamadas posteriores a music_generate en la misma sesión devuelven el estado de la tarea en lugar de iniciar otra generación. Usa action: "status" para comprobarlo explícitamente. Una solicitud coincidente completada recientemente también se desduplica durante 2 minutos.
• Consulta de estado: openclaw tasks list u openclaw tasks show <taskId> inspecciona estados en cola, en ejecución y terminales.
• Activación al completar: OpenClaw inyecta un evento interno de finalización de vuelta en la misma sesión para que el modelo pueda escribir por sí mismo el seguimiento visible para el usuario.
• Indicación de prompt: los turnos posteriores de usuario/manuales en la misma sesión reciben una pequeña indicación de runtime cuando una tarea de música ya está en curso, para que el modelo no vuelva a llamar a music_generate a ciegas.
• Alternativa sin sesión: los contextos directos/locales sin una sesión real de agente se ejecutan en línea y devuelven el resultado final de audio en el mismo turno.

Ciclo de vida de la tarea

La tarea de música expone los mismos estados que el registro general de tareas (consulta Tareas en segundo plano para ver la máquina de estados completa, incluidos timed_out, cancelled y lost). La mayoría de las ejecuciones de música pasan por:

Comprueba el estado desde la CLI:

openclaw tasks listopenclaw tasks show <taskId>openclaw tasks cancel <taskId>

Configuración

Selección de modelo

{  agents: {    defaults: {      musicGenerationModel: {        primary: "google/lyria-3-clip-preview",        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],      },    },  },}

Orden de selección de proveedor

OpenClaw prueba los proveedores en este orden:

1. Parámetro model de la llamada a la herramienta (si el agente especifica uno).
2. musicGenerationModel.primary desde la configuración.
3. musicGenerationModel.fallbacks en orden.
4. Detección automática usando solo valores predeterminados de proveedores respaldados por autenticación:
   • primero el proveedor de modelo de texto predeterminado actual, si también ofrece generación de música;
   • los proveedores de generación de música registrados restantes, alfabéticamente por id. de proveedor.

Si un proveedor falla, el siguiente candidato se intenta automáticamente. Si todos fallan, el error incluye detalles de cada intento.

Define agents.defaults.mediaGenerationAutoProviderFallback: false para usar solo entradas explícitas de model, primary y fallbacks.

Notas de proveedores

Elegir la ruta correcta

• Respaldado por proveedor compartido cuando quieres selección de modelos, conmutación por error de proveedores y el flujo asíncrono integrado de tareas/estado.
• Ruta de Plugin (ComfyUI) cuando necesitas un grafo de flujo de trabajo personalizado o un proveedor que no forma parte de la capacidad musical compartida incluida.

Si estás depurando comportamiento específico de ComfyUI, consulta ComfyUI. Si estás depurando comportamiento de proveedores compartidos, empieza por fal, Google (Gemini), MiniMax u OpenRouter.

Modos de capacidad de proveedor

El contrato compartido de generación musical admite declaraciones de modo explícitas:

• generate para generación solo con prompt.
• edit cuando la solicitud incluye una o más imágenes de referencia.

Las nuevas implementaciones de proveedores deberían preferir bloques de modo explícitos:

capabilities: {  generate: {    maxTracks: 1,    supportsLyrics: true,    supportsFormat: true,  },  edit: {    enabled: true,    maxTracks: 1,    maxInputImages: 1,    supportsFormat: true,  },}

Los campos planos heredados como maxInputImages, supportsLyrics y supportsFormat no son suficientes para anunciar compatibilidad con edición. Los proveedores deberían declarar generate y edit explícitamente para que las pruebas en vivo, las pruebas de contrato y la herramienta compartida music_generate puedan validar la compatibilidad de modos de forma determinista.

Pruebas en vivo

Cobertura en vivo opcional para los proveedores compartidos incluidos (fal, Google, MiniMax, OpenRouter):

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Wrapper equivalente del repositorio, que ejecuta el mismo archivo de prueba:

pnpm test:live:media:music

Este archivo en vivo usa de forma predeterminada las variables de entorno de proveedores ya exportadas antes que los perfiles de autenticación almacenados, y ejecuta tanto cobertura de generate como de edit declarado cuando el proveedor habilita el modo de edición. Cobertura actual:

• google: generate más edit
• fal: solo generate
• minimax: solo generate
• openrouter: generate más edit
• comfy: cobertura en vivo de Comfy separada, no el barrido de proveedores compartidos

Cobertura en vivo opcional para la ruta musical de ComfyUI incluida:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

El archivo en vivo de Comfy también cubre los flujos de trabajo de imagen y video de comfy cuando esas secciones están configuradas.

Relacionado

• Tareas en segundo plano — seguimiento de tareas para ejecuciones desacopladas de music_generate
• ComfyUI
• Referencia de configuración — configuración de musicGenerationModel
• Google (Gemini)
• MiniMax
• Modelos — configuración de modelos y conmutación por error
• Resumen de herramientas