​

Generación de música

​

Inicio rápido

​

Generación respaldada por proveedores compartidos

1. Establece una clave de API para al menos un proveedor, por ejemplo GEMINI_API_KEY o MINIMAX_API_KEY.
2. Opcionalmente establece tu modelo preferido:

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

3. Pídele al agente: “Genera una pista synthpop animada sobre un viaje nocturno por una ciudad de neón.”

Genera una pista cinematográfica de piano con cuerdas suaves y sin voces.

Genera un loop chiptune enérgico sobre el lanzamiento de un cohete al amanecer.

​

Generación con Comfy basada en flujos de trabajo

1. Configura models.providers.comfy.music con un JSON de flujo de trabajo y nodos de prompt/salida.
2. Si usas Comfy Cloud, establece COMFY_API_KEY o COMFY_CLOUD_API_KEY.
3. Pide al agente música o llama a la herramienta directamente.

/tool music_generate prompt="Loop synth ambiental cálido con suave textura de cinta"

​

Compatibilidad compartida de proveedores integrados

​

Matriz de capacidades declaradas

/tool music_generate action=list

/tool music_generate action=status

/tool music_generate prompt="Lo-fi hip hop onírico con textura de vinilo y lluvia suave" instrumental=true

​

Parámetros de la herramienta integrada

​

Comportamiento asíncrono para la ruta respaldada por proveedores compartidos

• Ejecuciones de agente respaldadas por sesión: music_generate crea una tarea en segundo plano, devuelve inmediatamente una respuesta de inicio/tarea y publica la pista terminada más tarde en un mensaje de seguimiento del agente.
• Prevención de duplicados: mientras esa tarea en segundo plano siga en estado queued o running, las llamadas posteriores a music_generate en la misma sesión devuelven el estado de la tarea en lugar de iniciar otra generación.
• Consulta de estado: usa action: "status" para inspeccionar la tarea de música activa respaldada por sesión sin iniciar una nueva.
• Seguimiento de tareas: usa openclaw tasks list o openclaw tasks show <taskId> para inspeccionar el estado en cola, en ejecución y final de la generación.
• Activación al completarse: OpenClaw inyecta un evento interno de finalización en la misma sesión para que el modelo pueda escribir por sí mismo el mensaje de seguimiento orientado al usuario.
• Pista para el prompt: los turnos posteriores del usuario/manuales en la misma sesión reciben una pequeña pista en tiempo de ejecución cuando ya hay una tarea musical en curso para que el modelo no llame ciegamente a music_generate de nuevo.
• Respaldo sin sesión: los contextos directos/locales sin una sesión real del agente siguen ejecutándose en línea y devuelven el resultado final del audio en el mismo turno.

​

Ciclo de vida de la tarea

1. queued — tarea creada, esperando a que el proveedor la acepte.
2. running — el proveedor está procesando (normalmente de 30 segundos a 3 minutos según el proveedor y la duración).
3. succeeded — pista lista; el agente se activa y la publica en la conversación.
4. failed — error o timeout del proveedor; el agente se activa con detalles del error.

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Configuración

​

Selección de modelo

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.5+"],
      },
    },
  },
}

​

Orden de selección de proveedor

1. El parámetro model de la llamada a la herramienta, si el agente especifica uno
2. musicGenerationModel.primary de la configuración
3. musicGenerationModel.fallbacks en orden
4. Detección automática usando solo valores predeterminados de proveedores respaldados por autenticación:
   • primero el proveedor predeterminado actual
   • los proveedores de generación de música registrados restantes en orden de ID de proveedor

​

Notas sobre proveedores

• Google usa generación por lotes de Lyria 3. El flujo integrado actual admite prompt, texto opcional de letras e imágenes de referencia opcionales.
• MiniMax usa el endpoint por lotes music_generation. El flujo integrado actual admite prompt, letras opcionales, modo instrumental, ajuste de duración y salida mp3.
• La compatibilidad con ComfyUI está controlada por flujos de trabajo y depende del grafo configurado más la asignación de nodos para campos de prompt/salida.

​

Modos de capacidad del proveedor

• generate para generación solo con prompt
• edit cuando la solicitud incluye una o más imágenes de referencia

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Elegir la ruta correcta

• Usa la ruta compartida respaldada por proveedores cuando quieras selección de modelo, cambio de proveedor por error y el flujo integrado de tarea/estado asíncrono.
• Usa una ruta de plugin como ComfyUI cuando necesites un grafo de flujo de trabajo personalizado o un proveedor que no forme parte de la capacidad musical compartida integrada.
• Si estás depurando un comportamiento específico de ComfyUI, consulta ComfyUI. Si estás depurando un comportamiento compartido de proveedores, empieza por Google (Gemini) o MiniMax.

​

Pruebas live

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media music

• google: generate más edit
• minimax: solo generate
• comfy: cobertura live de Comfy separada, no en la pasada de proveedores compartidos

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Relacionado

• Background Tasks - seguimiento de tareas para ejecuciones desacopladas de music_generate
• Configuration Reference - configuración de musicGenerationModel
• ComfyUI
• Google (Gemini)
• MiniMax
• Models - configuración de modelos y cambio por error
• Tools Overview