Geração de vídeo

"status" retorna a tarefa da sessão atual; "list" inspeciona provedores.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Tempo limite opcional da operação do provedor em milissegundos. Quando omitido, o OpenClaw usa agents.defaults.videoGenerationModel.timeoutMs se configurado; caso contrário, usa o padrão do provedor definido pelo Plugin quando existir. OPENCLAW_DOCS_MARKER:paramClose:

Entradas de referência selecionam o modo de runtime:

• Nenhuma mídia de referência → generate
• Qualquer referência de imagem → imageToVideo
• Qualquer referência de vídeo → videoToVideo
• Entradas de áudio de referência não alteram o modo resolvido; elas se aplicam sobre qualquer modo selecionado pelas referências de imagem/vídeo e funcionam apenas com provedores que declaram maxInputAudios.

Referências mistas de imagem e vídeo não são uma superfície compartilhada estável de capacidade. Prefira um tipo de referência por solicitação.

Fallback e opções tipadas

Algumas verificações de capacidade são aplicadas na camada de fallback, e não na fronteira da ferramenta, então uma solicitação que excede os limites do provedor primário ainda pode ser executada em um fallback capaz:

• Candidato ativo que não declara maxInputAudios (ou declara 0) é ignorado quando a solicitação contém referências de áudio; o próximo candidato é tentado.
• maxDurationSeconds do candidato ativo abaixo do durationSeconds solicitado sem lista supportedDurationSeconds declarada → ignorado.
• A solicitação contém providerOptions e o candidato ativo declara explicitamente um esquema providerOptions tipado → ignorado se as chaves fornecidas não estiverem no esquema ou se os tipos de valor não corresponderem. Provedores sem um esquema declarado recebem as opções como estão (pass-through retrocompatível). Um provedor pode recusar todas as opções de provedor declarando um esquema vazio (capabilities.providerOptions: {}), o que causa o mesmo salto que uma incompatibilidade de tipo.

O primeiro motivo de salto em uma solicitação é registrado em warn para que operadores vejam quando seu provedor primário foi preterido; saltos subsequentes são registrados em debug para manter cadeias longas de fallback silenciosas. Se todos os candidatos forem ignorados, o erro agregado inclui o motivo do salto para cada um.

Ações

Seleção de modelo

O OpenClaw resolve o modelo nesta ordem:

1. Parâmetro de ferramenta model - se o agente especificar um na chamada.
2. videoGenerationModel.primary da configuração.
3. videoGenerationModel.fallbacks em ordem.
4. Detecção automática - provedores que têm autenticação válida, começando pelo provedor padrão atual e depois os provedores restantes em ordem alfabética.

Se um provedor falhar, o próximo candidato é tentado automaticamente. Se todos os candidatos falharem, o erro inclui detalhes de cada tentativa.

Defina agents.defaults.mediaGenerationAutoProviderFallback: false para usar apenas as entradas explícitas de model, primary e fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

Observações de provedores

Modos de capacidade dos provedores

O contrato compartilhado de geração de vídeo oferece suporte a capacidades específicas por modo em vez de apenas limites agregados simples. Novas implementações de provedores devem preferir blocos de modo explícitos:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Campos agregados simples como maxInputImages e maxInputVideos não são suficientes para anunciar suporte ao modo de transformação. Os provedores devem declarar generate, imageToVideo e videoToVideo explicitamente para que testes ao vivo, testes de contrato e a ferramenta compartilhada video_generate possam validar o suporte a modo de forma determinística.

Quando um modelo de um provedor tem suporte mais amplo a entradas de referência do que o restante, use maxInputImagesByModel, maxInputVideosByModel ou maxInputAudiosByModel em vez de aumentar o limite de todo o modo.

Testes ao vivo

Cobertura ao vivo opcional para os provedores compartilhados incluídos:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper do repositório:

pnpm test:live:media video

Esse arquivo ao vivo usa, por padrão, variáveis de ambiente de provedores já exportadas antes de perfis de autenticação armazenados e executa um teste de fumaça seguro para lançamento por padrão:

• generate para todos os provedores não FAL na varredura.
• Prompt de lagosta de um segundo.
• Limite de operação por provedor a partir de OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 por padrão).

FAL é opcional porque a latência de fila do lado do provedor pode dominar o tempo de lançamento:

pnpm test:live:media video --video-providers fal

Defina OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 para também executar os modos de transformação declarados que a varredura compartilhada consegue exercitar com segurança com mídia local:

• imageToVideo quando capabilities.imageToVideo.enabled.
• videoToVideo quando capabilities.videoToVideo.enabled e o provedor/modelo aceita entrada de vídeo local baseada em buffer na varredura compartilhada.

Hoje, a faixa ao vivo compartilhada videoToVideo cobre apenas runway quando você seleciona runway/gen4_aleph.

Configuração

Defina o modelo padrão de geração de vídeo na configuração do OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Ou pela CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Relacionados

• Alibaba Model Studio
• Tarefas em segundo plano - rastreamento de tarefas para geração assíncrona de vídeo
• BytePlus
• ComfyUI
• Referência de configuração
• fal
• Google (Gemini)
• MiniMax
• Modelos
• OpenAI
• Qwen
• Runway
• Together AI
• Visão geral das ferramentas
• Vydra
• xAI