Generación de vídeos

"status" devuelve la tarea de la sesión actual; "list" inspecciona los proveedores.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Tiempo de espera opcional para la operación del proveedor, en milisegundos. Si se omite, OpenClaw usa agents.defaults.mediaModels.video.timeoutMs si está configurado; de lo contrario, usa el valor predeterminado definido por el autor del plugin del proveedor, cuando exista. OPENCLAW_DOCS_MARKER:paramClose:

Las entradas de referencia seleccionan el modo de ejecución:

• Sin medios de referencia -> generate
• Cualquier referencia de imagen -> imageToVideo
• Cualquier referencia de vídeo -> videoToVideo
• Las entradas de audio de referencia no cambian el modo resuelto; se aplican sobre el modo seleccionado por las referencias de imagen o vídeo y solo funcionan con proveedores que declaran maxInputAudios.

La combinación de referencias de imagen y vídeo no constituye una superficie de capacidades compartida estable. Se recomienda usar un solo tipo de referencia por solicitud.

Conmutación por error y opciones tipadas

Algunas comprobaciones de capacidad se aplican en la capa de conmutación por error, en lugar de en el límite de la herramienta, por lo que una solicitud que supere los límites del proveedor principal aún puede ejecutarse en un proveedor alternativo que tenga la capacidad necesaria:

• El candidato activo que no declare maxInputAudios (o 0) se omite cuando la solicitud contiene referencias de audio; se prueba el siguiente candidato. La misma protección se aplica a los recuentos de referencias de imagen y vídeo en relación con maxInputImages/maxInputVideos.
• Si el maxDurationSeconds del candidato activo es inferior al durationSeconds solicitado y no hay una lista supportedDurationSeconds declarada, se omite.
• Si la solicitud contiene providerOptions y el candidato activo declara explícitamente un esquema tipado providerOptions, se omite si las claves proporcionadas no están en el esquema o si los tipos de los valores no coinciden. Los proveedores sin un esquema declarado reciben las opciones sin modificaciones (transferencia compatible con versiones anteriores). Un proveedor puede rechazar todas las opciones del proveedor declarando un esquema vacío (capabilities.providerOptions: {}), lo que provoca la misma omisión que una discrepancia de tipos.

El primer motivo de omisión de una solicitud se registra en warn para que los operadores sepan cuándo se ha descartado su proveedor principal; las omisiones posteriores se registran en debug para evitar ruido en cadenas largas de conmutación por error. Si se omiten todos los candidatos, el error agregado incluye el motivo de omisión de cada uno.

Acciones

Selección del modelo

OpenClaw resuelve el modelo en este orden:

1. Parámetro de herramienta model: si el agente especifica uno en la llamada.
2. videoGenerationModel.primary de la configuración.
3. videoGenerationModel.fallbacks en orden.
4. Detección automática: proveedores que tienen una autenticación válida, comenzando por el proveedor predeterminado actual y, después, los proveedores restantes en orden alfabético.

Si un proveedor falla, se prueba automáticamente el siguiente candidato. Si todos los candidatos fallan, el error incluye los detalles de cada intento.

La conmutación por error automática entre proveedores autenticados está siempre activada. El valor por llamada model sigue siendo determinante.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // sustitución opcional del tiempo de espera por solicitud al proveedor para cada herramienta      },    },  },}

Notas sobre proveedores

Modos de capacidad del proveedor

El contrato compartido de generación de vídeo admite capacidades específicas por modo en lugar de únicamente límites agregados planos. Las nuevas implementaciones de proveedores deben preferir bloques de modo explícitos:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Los campos agregados planos como maxInputImages y maxInputVideos no bastan para anunciar compatibilidad con modos de transformación. Los proveedores deben declarar generate, imageToVideo y videoToVideo explícitamente para que las pruebas en vivo, las pruebas de contrato y la herramienta compartida video_generate puedan validar la compatibilidad de modos de forma determinista.

Cuando un modelo de un proveedor admita más entradas de referencia que los demás, utilice maxInputImagesByModel, maxInputVideosByModel o maxInputAudiosByModel en lugar de elevar el límite de todo el modo.

Pruebas en vivo

Cobertura en vivo opcional para los proveedores compartidos incluidos:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Contenedor del repositorio:

pnpm test:live:media video

Este archivo en vivo utiliza de forma predeterminada las variables de entorno del proveedor ya exportadas antes que los perfiles de autenticación almacenados y ejecuta una prueba de humo segura para versiones de forma predeterminada:

• generate para cada proveedor que no sea FAL en el barrido.
• Prompt de langosta de un segundo.
• Límite de operaciones por proveedor de OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 de forma predeterminada).

FAL es opcional porque la latencia de la cola del lado del proveedor puede dominar el tiempo de publicación:

pnpm test:live:media video --video-providers fal

Establezca OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 para ejecutar también los modos de transformación declarados que el barrido compartido puede ejercitar de forma segura con medios locales:

• imageToVideo cuando capabilities.imageToVideo.enabled.
• videoToVideo cuando capabilities.videoToVideo.enabled y el proveedor/modelo acepte entrada de vídeo local respaldada por búfer en el barrido compartido.

Actualmente, la vía en vivo compartida videoToVideo cubre runway solo cuando se selecciona runway/gen4_aleph.

Configuración

Establezca el modelo predeterminado de generación de vídeo en la configuración de OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

O mediante la CLI:

openclaw config set agents.defaults.mediaModels.video.primary "qwen/wan2.6-t2v"

Relacionado

• Alibaba Model Studio
• Tareas en segundo plano - seguimiento de tareas para la generación asíncrona de vídeo
• BytePlus
• ComfyUI
• Referencia de configuración
• fal
• Google (Gemini)
• MiniMax
• Modelos
• OpenAI
• Qwen
• Runway
• Together AI
• Descripción general de las herramientas
• Vydra
• xAI