Videogeneratie

"status" retourneert de huidige sessietaak; "list" inspecteert providers.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Optionele time-out voor de providerbewerking in milliseconden. Wanneer deze wordt weggelaten, gebruikt OpenClaw agents.defaults.mediaModels.video.timeoutMs indien geconfigureerd, en anders de door de pluginauteur ingestelde standaardwaarde van de provider als die bestaat. OPENCLAW_DOCS_MARKER:paramClose:

Referentie-invoer bepaalt de runtimemodus:

• Geen referentiemedia -> generate
• Een of meer afbeeldingsreferenties -> imageToVideo
• Een of meer videoreferenties -> videoToVideo
• Referentie-audio-invoer verandert de vastgestelde modus niet; deze wordt toegepast boven op de modus die door de afbeeldings-/videoreferenties wordt bepaald en werkt alleen met providers die maxInputAudios declareren.

Gemengde afbeeldings- en videoreferenties vormen geen stabiel gedeeld capaciteitsoppervlak. Gebruik bij voorkeur één referentietype per aanvraag.

Fallback en getypeerde opties

Sommige capaciteitscontroles vinden plaats in de fallbacklaag in plaats van aan de grens van de tool, zodat een aanvraag die de limieten van de primaire provider overschrijdt, toch kan worden uitgevoerd door een geschikte fallback:

• Een actieve kandidaat die geen maxInputAudios (of 0) declareert, wordt overgeslagen wanneer de aanvraag audioreferenties bevat; de volgende kandidaat wordt geprobeerd. Dezelfde beveiliging geldt voor het aantal afbeeldings- en videoreferenties ten opzichte van maxInputImages/maxInputVideos.
• De maxDurationSeconds van de actieve kandidaat ligt onder de aangevraagde durationSeconds en er is geen lijst met supportedDurationSeconds gedeclareerd -> wordt overgeslagen.
• De aanvraag bevat providerOptions en de actieve kandidaat declareert expliciet een getypeerd providerOptions-schema -> wordt overgeslagen als opgegeven sleutels niet in het schema staan of waardetypen niet overeenkomen. Providers zonder gedeclareerd schema ontvangen opties ongewijzigd (achterwaarts compatibele doorgifte). Een provider kan alle provideropties uitsluiten door een leeg schema (capabilities.providerOptions: {}) te declareren, wat dezelfde overslag veroorzaakt als een typeafwijking.

De eerste reden voor overslaan binnen een aanvraag wordt geregistreerd op warn, zodat operators zien wanneer hun primaire provider is gepasseerd; daaropvolgende redenen worden geregistreerd op debug om lange fallbackketens stil te houden. Als elke kandidaat wordt overgeslagen, bevat de samengevoegde foutmelding voor elke kandidaat de reden voor het overslaan.

Acties

Modelselectie

OpenClaw bepaalt het model in deze volgorde:

1. Toolparameter model - als de agent er een opgeeft in de aanroep.
2. videoGenerationModel.primary uit de configuratie.
3. videoGenerationModel.fallbacks op volgorde.
4. Automatische detectie - providers met geldige authenticatie, te beginnen met de huidige standaardprovider en vervolgens de resterende providers in alfabetische volgorde.

Als een provider mislukt, wordt automatisch de volgende kandidaat geprobeerd. Als alle kandidaten mislukken, bevat de foutmelding details van elke poging.

Automatische fallback tussen geauthenticeerde providers is altijd ingeschakeld. Een model per aanroep blijft gezaghebbend.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // optionele overschrijving van de time-out voor provideraanvragen per tool      },    },  },}

Provideropmerkingen

Mogelijkheidsmodi van providers

Het gedeelde contract voor videogeneratie ondersteunt modusspecifieke mogelijkheden in plaats van alleen platte geaggregeerde limieten. Nieuwe providerimplementaties moeten bij voorkeur expliciete modusblokken gebruiken:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Platte geaggregeerde velden zoals maxInputImages en maxInputVideos zijn niet voldoende om ondersteuning voor transformatiemodi aan te geven. Providers moeten generate, imageToVideo en videoToVideo expliciet declareren, zodat live tests, contracttests en de gedeelde tool video_generate de modusondersteuning deterministisch kunnen valideren.

Wanneer één model van een provider ruimere ondersteuning voor referentie-invoer heeft dan de rest, gebruik dan maxInputImagesByModel, maxInputVideosByModel of maxInputAudiosByModel in plaats van de limiet voor de hele modus te verhogen.

Live tests

Optionele live dekking voor de gedeelde meegeleverde providers:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Repo-wrapper:

pnpm test:live:media video

Dit livebestand gebruikt standaard reeds geëxporteerde omgevingsvariabelen van providers vóór opgeslagen authenticatieprofielen en voert standaard een releaseveilige rooktest uit:

• generate voor elke niet-FAL-provider in de reeks.
• Lobster-prompt van één seconde.
• Limiet voor bewerkingen per provider uit OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (standaard 180000).

FAL is optioneel, omdat wachtrijvertraging bij de provider de releasetijd kan domineren:

pnpm test:live:media video --video-providers fal

Stel OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 in om ook gedeclareerde transformatiemodi uit te voeren die de gedeelde reeks veilig met lokale media kan testen:

• imageToVideo wanneer capabilities.imageToVideo.enabled.
• videoToVideo wanneer capabilities.videoToVideo.enabled en het provider/model lokale video-invoer op basis van buffers in de gedeelde reeks accepteert.

Momenteel dekt de gedeelde live-lane videoToVideo alleen runway wanneer je runway/gen4_aleph selecteert.

Configuratie

Stel het standaardmodel voor videogeneratie in je OpenClaw-configuratie in:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Of via de CLI:

openclaw config set agents.defaults.mediaModels.video.primary "qwen/wan2.6-t2v"

Gerelateerd

• Alibaba Model Studio
• Achtergrondtaken - taakregistratie voor asynchrone videogeneratie
• BytePlus
• ComfyUI
• Configuratiereferentie
• fal
• Google (Gemini)
• MiniMax
• Modellen
• OpenAI
• Qwen
• Runway
• Together AI
• Overzicht van tools
• Vydra
• xAI