Generación de video

"status" devuelve la tarea de la sesión actual; "list" inspecciona los proveedores.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Tiempo de espera opcional de la operación del proveedor en milisegundos. Cuando se omite, OpenClaw usa agents.defaults.videoGenerationModel.timeoutMs si está configurado; de lo contrario, usa el valor predeterminado del proveedor escrito por el Plugin cuando existe. OPENCLAW_DOCS_MARKER:paramClose:

Las entradas de referencia seleccionan el modo de ejecución:

• Sin medios de referencia -> generate
• Cualquier referencia de imagen -> imageToVideo
• Cualquier referencia de video -> videoToVideo
• Las entradas de audio de referencia no cambian el modo resuelto; se aplican sobre el modo que seleccionen las referencias de imagen/video y solo funcionan con proveedores que declaran maxInputAudios.

Las referencias mezcladas de imagen y video no son una superficie de capacidad compartida estable. Prefiere un tipo de referencia por solicitud.

Reserva y opciones tipadas

Algunas comprobaciones de capacidad se aplican en la capa de reserva en lugar del límite de la herramienta, de modo que una solicitud que supera los límites del proveedor principal aún puede ejecutarse en una reserva capaz:

• El candidato activo que no declara maxInputAudios (o declara 0) se omite cuando la solicitud contiene referencias de audio; se prueba el siguiente candidato. La misma protección se aplica a los conteos de referencias de imagen y video frente a maxInputImages/maxInputVideos.
• El maxDurationSeconds del candidato activo está por debajo del durationSeconds solicitado y no hay una lista supportedDurationSeconds declarada -> se omite.
• La solicitud contiene providerOptions y el candidato activo declara explícitamente un esquema providerOptions tipado -> se omite si las claves suministradas no están en el esquema o los tipos de valor no coinciden. Los proveedores sin un esquema declarado reciben las opciones tal como están (transferencia directa compatible con versiones anteriores). Un proveedor puede excluir todas las opciones de proveedor declarando un esquema vacío (capabilities.providerOptions: {}), lo que causa la misma omisión que una discrepancia de tipo.

El primer motivo de omisión de una solicitud se registra en warn para que los operadores vean cuándo se pasó por alto su proveedor principal; las omisiones posteriores se registran en debug para mantener silenciosas las cadenas largas de reserva. Si se omiten todos los candidatos, el error agregado incluye el motivo de omisión de cada uno.

Acciones

Selección de modelo

OpenClaw resuelve el modelo en este orden:

1. Parámetro de herramienta model: si el agente especifica uno en la llamada.
2. videoGenerationModel.primary desde la configuración.
3. videoGenerationModel.fallbacks en orden.
4. Detección automática: proveedores que tienen autenticación válida, empezando por el proveedor predeterminado actual y luego los proveedores restantes en orden alfabético.

Si un proveedor falla, se prueba automáticamente el siguiente candidato. Si todos los candidatos fallan, el error incluye detalles de cada intento.

Establece agents.defaults.mediaGenerationAutoProviderFallback: false para usar solo las entradas explícitas de model, primary y fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // optional per-tool provider request timeout override      },    },  },}

Notas de proveedor

Modos de capacidad de proveedores

El contrato compartido de generación de video admite capacidades específicas por modo en lugar de solo límites agregados planos. Las nuevas implementaciones de proveedores deberían preferir bloques de modo explícitos:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Los campos agregados planos como maxInputImages y maxInputVideos no bastan para anunciar compatibilidad con modos de transformación. Los proveedores deberían declarar generate, imageToVideo y videoToVideo explícitamente para que las pruebas en vivo, las pruebas de contrato y la herramienta compartida video_generate puedan validar la compatibilidad de modos de forma determinista.

Cuando un modelo de un proveedor tiene compatibilidad más amplia con entradas de referencia que el resto, usa maxInputImagesByModel, maxInputVideosByModel o maxInputAudiosByModel en lugar de elevar el límite de todo el modo.

Pruebas en vivo

Cobertura en vivo opcional para los proveedores compartidos incluidos:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Envoltorio del repositorio:

pnpm test:live:media video

Este archivo en vivo usa de forma predeterminada las variables de entorno de proveedor ya exportadas antes que los perfiles de autenticación almacenados, y ejecuta de forma predeterminada una prueba de humo segura para lanzamientos:

• generate para cada proveedor que no sea FAL en el barrido.
• Indicación de langosta de un segundo.
• Límite de operación por proveedor de OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 de forma predeterminada).

FAL es opcional porque la latencia de cola del lado del proveedor puede dominar el tiempo de lanzamiento:

pnpm test:live:media video --video-providers fal

Define OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 para ejecutar también los modos de transformación declarados que el barrido compartido puede ejercitar de forma segura con medios locales:

• imageToVideo cuando capabilities.imageToVideo.enabled.
• videoToVideo cuando capabilities.videoToVideo.enabled y el proveedor/modelo acepta entrada de video local respaldada por búfer en el barrido compartido.

Actualmente, la ruta en vivo compartida videoToVideo cubre runway solo cuando seleccionas runway/gen4_aleph.

Configuración

Define el modelo de generación de video predeterminado en tu configuración de OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

O mediante la CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Relacionado

• Alibaba Model Studio
• Tareas en segundo plano - seguimiento de tareas para generación de video asíncrona
• BytePlus
• ComfyUI
• Referencia de configuración
• fal
• Google (Gemini)
• MiniMax
• Modelos
• OpenAI
• Qwen
• Runway
• Together AI
• Resumen de herramientas
• Vydra
• xAI