Génération vidéo

"status" renvoie la tâche de session actuelle ; "list" inspecte les fournisseurs.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Délai d’expiration facultatif de l’opération du fournisseur en millisecondes. Lorsqu’il est omis, OpenClaw utilise agents.defaults.videoGenerationModel.timeoutMs s’il est configuré, sinon la valeur par défaut du fournisseur définie par le Plugin lorsqu’elle existe. OPENCLAW_DOCS_MARKER:paramClose:

Les entrées de référence sélectionnent le mode d’exécution :

• Aucun média de référence → generate
• Toute référence d’image → imageToVideo
• Toute référence vidéo → videoToVideo
• Les entrées audio de référence ne changent pas le mode résolu ; elles s’appliquent par-dessus le mode choisi par les références image/vidéo, et ne fonctionnent qu’avec les fournisseurs qui déclarent maxInputAudios.

Les références mixtes image et vidéo ne constituent pas une surface de capacité partagée stable. Préférez un seul type de référence par requête.

Repli et options typées

Certains contrôles de capacité sont appliqués à la couche de repli plutôt qu’à la limite de l’outil, de sorte qu’une requête qui dépasse les limites du fournisseur principal peut tout de même s’exécuter sur un repli capable :

• Un candidat actif qui ne déclare pas maxInputAudios (ou déclare 0) est ignoré lorsque la requête contient des références audio ; le candidat suivant est essayé.
• Le maxDurationSeconds du candidat actif est inférieur au durationSeconds demandé sans liste supportedDurationSeconds déclarée → ignoré.
• La requête contient providerOptions et le candidat actif déclare explicitement un schéma providerOptions typé → ignoré si les clés fournies ne sont pas dans le schéma ou si les types de valeur ne correspondent pas. Les fournisseurs sans schéma déclaré reçoivent les options telles quelles (transmission rétrocompatible). Un fournisseur peut refuser toutes les options fournisseur en déclarant un schéma vide (capabilities.providerOptions: {}), ce qui provoque le même saut qu’une incompatibilité de type.

La première raison de saut dans une requête est journalisée à warn afin que les opérateurs voient quand leur fournisseur principal a été écarté ; les sauts suivants sont journalisés à debug pour éviter le bruit dans les longues chaînes de repli. Si tous les candidats sont ignorés, l’erreur agrégée inclut la raison de saut pour chacun.

Actions

Sélection du modèle

OpenClaw résout le modèle dans cet ordre :

1. Paramètre d’outil model - si l’agent en spécifie un dans l’appel.
2. videoGenerationModel.primary depuis la configuration.
3. videoGenerationModel.fallbacks dans l’ordre.
4. Détection automatique - les fournisseurs qui disposent d’une authentification valide, en commençant par le fournisseur par défaut actuel, puis les fournisseurs restants dans l’ordre alphabétique.

Si un fournisseur échoue, le candidat suivant est essayé automatiquement. Si tous les candidats échouent, l’erreur inclut les détails de chaque tentative.

Définissez agents.defaults.mediaGenerationAutoProviderFallback: false pour utiliser uniquement les entrées explicites model, primary et fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

Notes sur les fournisseurs

Modes de capacités des fournisseurs

Le contrat partagé de génération vidéo prend en charge des capacités propres aux modes au lieu de seules limites agrégées plates. Les nouvelles implémentations de fournisseurs devraient préférer des blocs de mode explicites :

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Les champs agrégés plats tels que maxInputImages et maxInputVideos ne sont pas suffisants pour annoncer la prise en charge d’un mode de transformation. Les fournisseurs doivent déclarer explicitement generate, imageToVideo et videoToVideo afin que les tests live, les tests de contrat et l’outil partagé video_generate puissent valider la prise en charge des modes de façon déterministe.

Lorsqu’un modèle d’un fournisseur prend en charge plus largement les entrées de référence que le reste, utilisez maxInputImagesByModel, maxInputVideosByModel ou maxInputAudiosByModel au lieu d’augmenter la limite valable pour tout le mode.

Tests live

Couverture live optionnelle pour les fournisseurs groupés partagés :

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper du dépôt :

pnpm test:live:media video

Ce fichier live utilise par défaut les variables d’environnement des fournisseurs déjà exportées avant les profils d’authentification stockés, et exécute par défaut un smoke sûr pour les releases :

• generate pour chaque fournisseur non-FAL de la passe.
• Prompt de homard d’une seconde.
• Limite d’opérations par fournisseur depuis OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 par défaut).

FAL est optionnel, car la latence de file d’attente côté fournisseur peut dominer le temps de release :

pnpm test:live:media video --video-providers fal

Définissez OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 pour exécuter aussi les modes de transformation déclarés que la passe partagée peut exercer en sécurité avec des médias locaux :

• imageToVideo lorsque capabilities.imageToVideo.enabled.
• videoToVideo lorsque capabilities.videoToVideo.enabled et que le fournisseur/modèle accepte une entrée vidéo locale adossée à un buffer dans la passe partagée.

Aujourd’hui, la lane live partagée videoToVideo couvre runway uniquement lorsque vous sélectionnez runway/gen4_aleph.

Configuration

Définissez le modèle de génération vidéo par défaut dans votre configuration OpenClaw :

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Ou via la CLI :

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Associé

• Alibaba Model Studio
• Tâches en arrière-plan - suivi des tâches pour la génération vidéo asynchrone
• BytePlus
• ComfyUI
• Référence de configuration
• fal
• Google (Gemini)
• MiniMax
• Modèles
• OpenAI
• Qwen
• Runway
• Together AI
• Vue d’ensemble des outils
• Vydra
• xAI