Generazione video

"status" restituisce l'attività della sessione corrente; "list" ispeziona i provider.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Timeout opzionale dell'operazione del provider in millisecondi. Se omesso, OpenClaw usa agents.defaults.videoGenerationModel.timeoutMs se configurato, altrimenti il valore predefinito del provider definito dal Plugin quando esiste. OPENCLAW_DOCS_MARKER:paramClose:

Gli input di riferimento selezionano la modalità di runtime:

• Nessun media di riferimento → generate
• Qualsiasi riferimento immagine → imageToVideo
• Qualsiasi riferimento video → videoToVideo
• Gli input audio di riferimento non cambiano la modalità risolta; si applicano sopra qualsiasi modalità selezionata dai riferimenti immagine/video e funzionano solo con provider che dichiarano maxInputAudios.

I riferimenti misti immagine e video non sono una superficie di capacità condivisa stabile. Preferisci un solo tipo di riferimento per richiesta.

Fallback e opzioni tipizzate

Alcuni controlli di capacità vengono applicati al livello di fallback invece che al confine dello strumento, quindi una richiesta che supera i limiti del provider primario può comunque essere eseguita su un fallback capace:

• Il candidato attivo che non dichiara maxInputAudios (o dichiara 0) viene saltato quando la richiesta contiene riferimenti audio; viene provato il candidato successivo.
• Il maxDurationSeconds del candidato attivo è inferiore al durationSeconds richiesto senza un elenco supportedDurationSeconds dichiarato → saltato.
• La richiesta contiene providerOptions e il candidato attivo dichiara esplicitamente uno schema providerOptions tipizzato → saltato se le chiavi fornite non sono nello schema o i tipi di valore non corrispondono. I provider senza uno schema dichiarato ricevono le opzioni così come sono (pass-through compatibile all'indietro). Un provider può escludere tutte le opzioni del provider dichiarando uno schema vuoto (capabilities.providerOptions: {}), che causa lo stesso salto di una mancata corrispondenza di tipo.

Il primo motivo di salto in una richiesta viene registrato a warn, così gli operatori vedono quando il loro provider primario è stato scavalcato; i salti successivi vengono registrati a debug per mantenere silenziose le catene di fallback lunghe. Se ogni candidato viene saltato, l'errore aggregato include il motivo di salto per ciascuno.

Azioni

Selezione del modello

OpenClaw risolve il modello in questo ordine:

1. Parametro strumento model - se l'agente ne specifica uno nella chiamata.
2. videoGenerationModel.primary dalla configurazione.
3. videoGenerationModel.fallbacks in ordine.
4. Rilevamento automatico - provider con autenticazione valida, a partire dal provider predefinito corrente, poi i provider rimanenti in ordine alfabetico.

Se un provider fallisce, il candidato successivo viene provato automaticamente. Se tutti i candidati falliscono, l'errore include i dettagli di ogni tentativo.

Imposta agents.defaults.mediaGenerationAutoProviderFallback: false per usare solo le voci esplicite model, primary e fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

Note sui provider

Modalità delle capacità del provider

Il contratto condiviso di generazione video supporta capacità specifiche per modalità invece di soli limiti aggregati piatti. Le nuove implementazioni di provider dovrebbero preferire blocchi di modalità espliciti:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Campi aggregati piatti come maxInputImages e maxInputVideos non sono sufficienti per dichiarare il supporto della modalità di trasformazione. I provider dovrebbero dichiarare esplicitamente generate, imageToVideo e videoToVideo affinché i test live, i test di contratto e lo strumento condiviso video_generate possano convalidare il supporto della modalità in modo deterministico.

Quando un modello di un provider ha un supporto più ampio per gli input di riferimento rispetto agli altri, usa maxInputImagesByModel, maxInputVideosByModel o maxInputAudiosByModel invece di aumentare il limite dell'intera modalità.

Test live

Copertura live opt-in per i provider inclusi condivisi:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper del repo:

pnpm test:live:media video

Questo file live usa per impostazione predefinita le variabili d'ambiente dei provider già esportate prima dei profili di autenticazione archiviati, ed esegue per impostazione predefinita uno smoke sicuro per il rilascio:

• generate per ogni provider non FAL nello sweep.
• Prompt aragosta di un secondo.
• Limite operativo per provider da OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 per impostazione predefinita).

FAL è opt-in perché la latenza della coda lato provider può dominare il tempo di rilascio:

pnpm test:live:media video --video-providers fal

Imposta OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 per eseguire anche le modalità di trasformazione dichiarate che lo sweep condiviso può esercitare in sicurezza con media locali:

• imageToVideo quando capabilities.imageToVideo.enabled.
• videoToVideo quando capabilities.videoToVideo.enabled e il provider/modello accetta input video locale basato su buffer nello sweep condiviso.

Oggi la lane live condivisa videoToVideo copre runway solo quando selezioni runway/gen4_aleph.

Configurazione

Imposta il modello predefinito di generazione video nella configurazione di OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Oppure tramite la CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Correlati

• Alibaba Model Studio
• Attività in background - tracciamento delle attività per la generazione video asincrona
• BytePlus
• ComfyUI
• Riferimento di configurazione
• fal
• Google (Gemini)
• MiniMax
• Modelli
• OpenAI
• Qwen
• Runway
• Together AI
• Panoramica degli strumenti
• Vydra
• xAI