OpenClaw agentes pueden generar videos a partir de prompts de texto, imágenes de referencia o videos existentes. Se admiten dieciséis backends de proveedor, cada uno con diferentes opciones de modelo, modos de entrada y conjuntos de funciones. El agente elige el proveedor adecuado automáticamente según tu configuración y las claves de API disponibles.Documentation Index
Fetch the complete documentation index at: https://docs.openclaw.ai/llms.txt
Use this file to discover all available pages before exploring further.
La herramienta
video_generate solo aparece cuando al menos un proveedor de
generación de video está disponible. Si no la ves en las herramientas de tu agente, configura una
clave de API de proveedor o configura agents.defaults.videoGenerationModel.generate- solicitudes de texto a video sin medios de referencia.imageToVideo- la solicitud incluye una o más imágenes de referencia.videoToVideo- la solicitud incluye uno o más videos de referencia.
action=list.
Inicio rápido
Cómo funciona la generación asíncrona
La generación de video es asíncrona. Cuando el agente llama avideo_generate en una
sesión:
- OpenClaw envía la solicitud al proveedor y devuelve de inmediato un id de tarea.
- El proveedor procesa el trabajo en segundo plano (normalmente de 30 segundos a varios minutos, según el proveedor y la resolución; los proveedores lentos respaldados por cola pueden ejecutarse hasta el tiempo de espera configurado).
- Cuando el video está listo, OpenClaw reactiva la misma sesión con un evento interno de finalización.
- El agente informa al usuario y adjunta el video terminado. En chats de grupo/canal que usan entrega visible únicamente mediante herramienta de mensajes, el agente transmite el resultado mediante la herramienta de mensajes en lugar de que OpenClaw lo publique directamente.
video_generate en la misma
sesión devuelven el estado actual de la tarea en lugar de iniciar otra
generación. Usa openclaw tasks list u openclaw tasks show <taskId> para
consultar el progreso desde la CLI.
Fuera de las ejecuciones de agente respaldadas por sesión (por ejemplo, invocaciones directas de herramientas),
la herramienta recurre a generación en línea y devuelve la ruta final del medio
en el mismo turno.
Los archivos de video generados se guardan en el almacenamiento de medios administrado por OpenClaw cuando
el proveedor devuelve bytes. El límite predeterminado de guardado de videos generados sigue
el límite de medios de video, y agents.defaults.mediaMaxMb lo aumenta para
renders más grandes. Cuando un proveedor también devuelve una URL de salida alojada, OpenClaw
puede entregar esa URL en lugar de fallar la tarea si la persistencia local
rechaza un archivo demasiado grande.
Ciclo de vida de la tarea
| Estado | Significado |
|---|---|
queued | Tarea creada, en espera de que el proveedor la acepte. |
running | El proveedor está procesando (normalmente de 30 segundos a varios minutos, según el proveedor y la resolución). |
succeeded | Video listo; el agente se reactiva y lo publica en la conversación. |
failed | Error del proveedor o tiempo de espera agotado; el agente se reactiva con detalles del error. |
queued o running para la sesión actual,
video_generate devuelve el estado de la tarea existente en lugar de iniciar una nueva.
Usa action: "status" para consultarlo explícitamente sin activar una nueva
generación.
Proveedores admitidos
| Proveedor | Modelo predeterminado | Texto | Ref. de imagen | Ref. de video | Autenticación |
|---|---|---|---|---|---|
| Alibaba | wan2.6-t2v | ✓ | Sí (URL remota) | Sí (URL remota) | MODELSTUDIO_API_KEY |
| BytePlus (1.0) | seedance-1-0-pro-250528 | ✓ | Hasta 2 imágenes (solo modelos I2V; primer + último fotograma) | - | BYTEPLUS_API_KEY |
| BytePlus Seedance 1.5 | seedance-1-5-pro-251215 | ✓ | Hasta 2 imágenes (primer + último fotograma mediante rol) | - | BYTEPLUS_API_KEY |
| BytePlus Seedance 2.0 | dreamina-seedance-2-0-260128 | ✓ | Hasta 9 imágenes de referencia | Hasta 3 videos | BYTEPLUS_API_KEY |
| ComfyUI | workflow | ✓ | 1 imagen | - | COMFY_API_KEY o COMFY_CLOUD_API_KEY |
| DeepInfra | Pixverse/Pixverse-T2V | ✓ | - | - | DEEPINFRA_API_KEY |
| fal | fal-ai/minimax/video-01-live | ✓ | 1 imagen; hasta 9 con referencia a video de Seedance | Hasta 3 videos con referencia a video de Seedance | FAL_KEY |
veo-3.1-fast-generate-preview | ✓ | 1 imagen | 1 video | GEMINI_API_KEY | |
| MiniMax | MiniMax-Hailuo-2.3 | ✓ | 1 imagen | - | MINIMAX_API_KEY o MiniMax OAuth |
| OpenAI | sora-2 | ✓ | 1 imagen | 1 video | OPENAI_API_KEY |
| OpenRouter | google/veo-3.1-fast | ✓ | Hasta 4 imágenes (primer/último fotograma o referencias) | - | OPENROUTER_API_KEY |
| Qwen | wan2.6-t2v | ✓ | Sí (URL remota) | Sí (URL remota) | QWEN_API_KEY |
| Runway | gen4.5 | ✓ | 1 imagen | 1 video | RUNWAYML_API_SECRET |
| Together | Wan-AI/Wan2.2-T2V-A14B | ✓ | 1 imagen | - | TOGETHER_API_KEY |
| Vydra | veo3 | ✓ | 1 imagen (kling) | - | VYDRA_API_KEY |
| xAI | grok-imagine-video | ✓ | 1 imagen de primer fotograma o hasta 7 reference_images | 1 video | XAI_API_KEY |
video_generate action=list para inspeccionar los proveedores, modelos y
modos de tiempo de ejecución disponibles en tiempo de ejecución.
Matriz de capacidades
El contrato de modos explícito que usanvideo_generate, las pruebas de contrato y
el barrido en vivo compartido:
| Proveedor | generate | imageToVideo | videoToVideo | Lanes en vivo compartidos hoy |
|---|---|---|---|---|
| Alibaba | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo se omite porque este proveedor necesita URL de video http(s) remotas |
| BytePlus | ✓ | ✓ | - | generate, imageToVideo |
| ComfyUI | ✓ | ✓ | - | No está en el barrido compartido; la cobertura específica del flujo de trabajo vive con las pruebas de Comfy |
| DeepInfra | ✓ | - | - | generate; los esquemas de video nativos de DeepInfra son de texto a video en el contrato incluido |
| fal | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo solo cuando se usa referencia a video de Seedance |
| ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo compartido se omite porque el barrido actual de Gemini/Veo respaldado por búfer no acepta esa entrada | |
| MiniMax | ✓ | ✓ | - | generate, imageToVideo |
| OpenAI | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo compartido se omite porque esta organización/ruta de entrada actualmente necesita acceso a inpaint/remix del lado del proveedor |
| OpenRouter | ✓ | ✓ | - | generate, imageToVideo |
| Qwen | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo se omite porque este proveedor necesita URL de video http(s) remotas |
| Runway | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo se ejecuta solo cuando el modelo seleccionado es runway/gen4_aleph |
| Together | ✓ | ✓ | - | generate, imageToVideo |
| Vydra | ✓ | ✓ | - | generate; imageToVideo compartido se omite porque el veo3 incluido solo acepta texto y el kling incluido requiere una URL de imagen remota |
| xAI | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo se omite porque este proveedor actualmente necesita una URL MP4 remota |
Parámetros de la herramienta
Obligatorio
Descripción de texto del video que se generará. Obligatorio para
action: "generate".Entradas de contenido
Imagen de referencia única (ruta o URL).
Varias imágenes de referencia (hasta 9).
Indicaciones de rol opcionales por posición, paralelas a la lista combinada de imágenes.
Valores canónicos:
first_frame, last_frame, reference_image.Video de referencia único (ruta o URL).
Varios videos de referencia (hasta 4).
Indicaciones de rol opcionales por posición, paralelas a la lista combinada de videos.
Valor canónico:
reference_video.Audio de referencia único (ruta o URL). Se usa para música de fondo o como
referencia de voz cuando el proveedor admite entradas de audio.
Varios audios de referencia (hasta 3).
Indicaciones de rol opcionales por posición, paralelas a la lista combinada de audios.
Valor canónico:
reference_audio.Las indicaciones de rol se reenvían al proveedor tal como están. Los valores
canónicos provienen de la unión
VideoGenerationAssetRole, pero los proveedores
pueden aceptar cadenas de rol adicionales. Los arrays *Roles no deben tener
más entradas que la lista de referencias correspondiente; los errores de desfase
por uno fallan con un error claro. Usa una cadena vacía para dejar una posición
sin definir. Para xAI, establece cada rol de imagen en reference_image para
usar su modo de generación reference_images; omite el rol o usa first_frame
para imagen a video con una sola imagen.Controles de estilo
Indicación de relación de aspecto como
1:1, 16:9, 9:16, adaptive o un valor específico del proveedor. OpenClaw normaliza o ignora los valores no admitidos según el proveedor.Indicación de resolución como
480P, 720P, 768P, 1080P, 4K o un valor específico del proveedor. OpenClaw normaliza o ignora los valores no admitidos según el proveedor.Duración objetivo en segundos (redondeada al valor más cercano admitido por el proveedor).
Indicación de tamaño cuando el proveedor la admite.
Activa el audio generado en la salida cuando sea compatible. Es distinto de
audioRef* (entradas).Activa o desactiva la marca de agua del proveedor cuando sea compatible.
adaptive es un centinela específico del proveedor: se reenvía tal como está a
los proveedores que declaran adaptive en sus capacidades (por ejemplo, BytePlus
Seedance lo usa para detectar automáticamente la relación a partir de las
dimensiones de la imagen de entrada). Los proveedores que no lo declaran muestran
el valor mediante details.ignoredOverrides en el resultado de la herramienta
para que el descarte sea visible.
Avanzado
"status" devuelve la tarea de la sesión actual; "list" inspecciona los proveedores.Anulación de proveedor/modelo (por ejemplo,
runway/gen4.5).Indicación del nombre del archivo de salida.
Tiempo de espera opcional de la operación del proveedor en milisegundos. Cuando se omite, OpenClaw usa
agents.defaults.videoGenerationModel.timeoutMs si está configurado.Opciones específicas del proveedor como objeto JSON (por ejemplo,
{"seed": 42, "draft": true}).
Los proveedores que declaran un esquema tipado validan las claves y los tipos; las claves
desconocidas o las discrepancias omiten el candidato durante el respaldo. Los proveedores sin un
esquema declarado reciben las opciones tal como están. Ejecuta video_generate action=list
para ver qué acepta cada proveedor.No todos los proveedores admiten todos los parámetros. OpenClaw normaliza la duración al
valor compatible más cercano del proveedor y reasigna indicaciones de geometría traducidas,
como tamaño a relación de aspecto, cuando un proveedor de respaldo expone una superficie de
control diferente. Las anulaciones realmente no admitidas se ignoran con el mejor esfuerzo
posible y se informan como advertencias en el resultado de la herramienta. Los límites estrictos
de capacidad (como demasiadas entradas de referencia) fallan antes del envío. Los resultados
de la herramienta informan la configuración aplicada;
details.normalization captura cualquier
traducción de solicitado a aplicado.- Sin medios de referencia →
generate - Cualquier referencia de imagen →
imageToVideo - Cualquier referencia de video →
videoToVideo - Las entradas de audio de referencia no cambian el modo resuelto; se aplican
encima del modo que seleccionen las referencias de imagen/video, y solo funcionan
con proveedores que declaran
maxInputAudios.
Respaldo y opciones tipadas
Algunas comprobaciones de capacidad se aplican en la capa de respaldo, no en el límite de la herramienta, por lo que una solicitud que excede los límites del proveedor principal aún puede ejecutarse en un respaldo capaz:- El candidato activo que no declara
maxInputAudios(o declara0) se omite cuando la solicitud contiene referencias de audio; se prueba el siguiente candidato. - El
maxDurationSecondsdel candidato activo por debajo deldurationSecondssolicitado sin una listasupportedDurationSecondsdeclarada → se omite. - La solicitud contiene
providerOptionsy el candidato activo declara explícitamente un esquemaproviderOptionstipado → se omite si las claves suministradas no están en el esquema o los tipos de valores no coinciden. Los proveedores sin un esquema declarado reciben las opciones tal como están (transferencia directa compatible con versiones anteriores). Un proveedor puede excluirse de todas las opciones de proveedor declarando un esquema vacío (capabilities.providerOptions: {}), lo que causa la misma omisión que una discrepancia de tipo.
warn para que los operadores vean cuándo
se pasó por alto su proveedor principal; las omisiones posteriores se registran en debug para
mantener silenciosas las cadenas de respaldo largas. Si se omiten todos los candidatos, el
error agregado incluye el motivo de omisión de cada uno.
Acciones
| Acción | Qué hace |
|---|---|
generate | Predeterminado. Crea un video a partir del prompt dado y las entradas de referencia opcionales. |
status | Comprueba el estado de la tarea de video en curso para la sesión actual sin iniciar otra generación. |
list | Muestra los proveedores, modelos y sus capacidades disponibles. |
Selección de modelo
OpenClaw resuelve el modelo en este orden:- Parámetro de herramienta
model- si el agente especifica uno en la llamada. videoGenerationModel.primaryde la configuración.videoGenerationModel.fallbacksen orden.- Detección automática - proveedores que tienen autenticación válida, empezando por el proveedor predeterminado actual y luego el resto de proveedores en orden alfabético.
agents.defaults.mediaGenerationAutoProviderFallback: false para usar
solo las entradas explícitas model, primary y fallbacks.
Notas de proveedores
Alibaba
Alibaba
Usa el endpoint asíncrono de DashScope / Model Studio. Las imágenes y
videos de referencia deben ser URL
http(s) remotas.BytePlus (1.0)
BytePlus (1.0)
ID de proveedor:
byteplus.Modelos: seedance-1-0-pro-250528 (predeterminado),
seedance-1-0-pro-t2v-250528, seedance-1-0-pro-fast-251015,
seedance-1-0-lite-t2v-250428, seedance-1-0-lite-i2v-250428.Los modelos T2V (*-t2v-*) no aceptan entradas de imagen; los modelos I2V y
los modelos generales *-pro-* admiten una sola imagen de referencia (primer
fotograma). Pasa la imagen por posición o establece role: "first_frame".
Los ID de modelo T2V se cambian automáticamente a la variante I2V
correspondiente cuando se proporciona una imagen.Claves providerOptions admitidas: seed (number), draft (boolean -
fuerza 480p), camera_fixed (boolean).BytePlus Seedance 1.5
BytePlus Seedance 1.5
Requiere el Plugin
@openclaw/byteplus-modelark.
ID de proveedor: byteplus-seedance15. Modelo:
seedance-1-5-pro-251215.Usa la API unificada content[]. Admite como máximo 2 imágenes de entrada
(first_frame + last_frame). Todas las entradas deben ser URL https://
remotas. Establece role: "first_frame" / "last_frame" en cada imagen, o
pasa las imágenes por posición.aspectRatio: "adaptive" detecta automáticamente la relación a partir de la imagen de entrada.
audio: true se asigna a generate_audio. providerOptions.seed
(number) se reenvía.BytePlus Seedance 2.0
BytePlus Seedance 2.0
Requiere el Plugin
@openclaw/byteplus-modelark.
ID de proveedor: byteplus-seedance2. Modelos:
dreamina-seedance-2-0-260128,
dreamina-seedance-2-0-fast-260128.Usa la API unificada content[]. Admite hasta 9 imágenes de referencia,
3 videos de referencia y 3 audios de referencia. Todas las entradas deben ser URL
https:// remotas. Establece role en cada recurso - valores admitidos:
"first_frame", "last_frame", "reference_image",
"reference_video", "reference_audio".aspectRatio: "adaptive" detecta automáticamente la relación a partir de la imagen de entrada.
audio: true se asigna a generate_audio. providerOptions.seed
(number) se reenvía.ComfyUI
ComfyUI
Ejecución local o en la nube basada en flujos de trabajo. Admite texto a video e
imagen a video mediante el grafo configurado.
fal
fal
Usa un flujo respaldado por cola para trabajos de larga duración. OpenClaw espera hasta 20
minutos de forma predeterminada antes de tratar un trabajo de cola de fal en curso como
agotado por tiempo de espera. La mayoría de los modelos de video de fal
aceptan una sola referencia de imagen. Los modelos Seedance 2.0 de referencia a video
aceptan hasta 9 imágenes, 3 videos y 3 referencias de audio, con
un máximo de 12 archivos de referencia en total.
Google (Gemini / Veo)
Google (Gemini / Veo)
Admite una referencia de imagen o una referencia de video. Las solicitudes de audio generado se
ignoran con una advertencia en la ruta de la API de Gemini porque esa API rechaza
el parámetro
generateAudio para la generación de video actual de Veo.MiniMax
MiniMax
Solo una referencia de imagen. MiniMax acepta resoluciones
768P y 1080P;
las solicitudes como 720P se normalizan al valor compatible más cercano
antes del envío.OpenAI
OpenAI
Solo se reenvía la anulación de
size. Otras anulaciones de estilo
(aspectRatio, resolution, audio, watermark) se ignoran con
una advertencia.OpenRouter
OpenRouter
Usa la API asíncrona
/videos de OpenRouter. OpenClaw envía el
trabajo, sondea polling_url y descarga unsigned_urls o el
endpoint documentado de contenido del trabajo. El valor predeterminado incluido google/veo-3.1-fast
anuncia duraciones de 4/6/8 segundos, resoluciones 720P/1080P y
relaciones de aspecto 16:9/9:16.Qwen
Qwen
El mismo backend DashScope que Alibaba. Las entradas de referencia deben ser URL remotas
http(s); los archivos locales se rechazan por adelantado.Runway
Runway
Admite archivos locales mediante URI de datos. Video a video requiere
runway/gen4_aleph. Las ejecuciones solo de texto exponen relaciones de aspecto
16:9 y 9:16.Together
Together
Solo una referencia de imagen.
Vydra
Vydra
Usa
https://www.vydra.ai/api/v1 directamente para evitar redirecciones
que pierdan la autenticación. veo3 se incluye solo como texto a video; kling requiere
una URL de imagen remota.xAI
xAI
Admite texto a video, imagen a video con un único primer fotograma, hasta 7
entradas
reference_image mediante reference_images de xAI, y flujos remotos
de edición/extensión de video.Modos de capacidad del proveedor
El contrato compartido de generación de video admite capacidades específicas por modo en lugar de solo límites agregados planos. Las nuevas implementaciones de proveedores deberían preferir bloques de modo explícitos:maxInputImages y maxInputVideos no
son suficientes para anunciar compatibilidad con modos de transformación. Los proveedores deberían
declarar generate, imageToVideo y videoToVideo explícitamente para que las
pruebas en vivo, las pruebas de contrato y la herramienta compartida video_generate puedan validar
la compatibilidad de modo de forma determinista.
Cuando un modelo de un proveedor admite más entradas de referencia que el
resto, usa maxInputImagesByModel, maxInputVideosByModel o
maxInputAudiosByModel en lugar de aumentar el límite de todo el modo.
Pruebas en vivo
Cobertura en vivo opcional para los proveedores incluidos compartidos:~/.profile, prefiere
claves de API en vivo/de entorno por delante de los perfiles de autenticación almacenados de forma predeterminada,
y ejecuta un smoke seguro para release de forma predeterminada:
generatepara cada proveedor que no sea FAL en el barrido.- Prompt de langosta de un segundo.
- Límite de operación por proveedor desde
OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS(180000de forma predeterminada).
OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 para ejecutar también los
modos de transformación declarados que el barrido compartido puede ejercitar de forma segura con medios locales:
imageToVideocuandocapabilities.imageToVideo.enabled.videoToVideocuandocapabilities.videoToVideo.enabledy el proveedor/modelo acepta entrada de video local respaldada por búfer en el barrido compartido.
videoToVideo cubre runway solo cuando
seleccionas runway/gen4_aleph.
Configuración
Establece el modelo predeterminado de generación de video en tu configuración de OpenClaw:Relacionado
- Alibaba Model Studio
- Tareas en segundo plano - seguimiento de tareas para generación de video asíncrona
- BytePlus
- ComfyUI
- Referencia de configuración
- fal
- Google (Gemini)
- MiniMax
- Modelos
- OpenAI
- Qwen
- Runway
- Together AI
- Descripción general de herramientas
- Vydra
- xAI