Videogenerierung

"status" gibt die aktuelle Sitzungsaufgabe zurück; "list" prüft Provider.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Optionales Timeout für Provider-Vorgänge in Millisekunden. Wenn ausgelassen, verwendet OpenClaw agents.defaults.videoGenerationModel.timeoutMs, sofern konfiguriert, andernfalls den vom Plugin festgelegten Provider-Standard, wenn einer existiert. OPENCLAW_DOCS_MARKER:paramClose:

Referenzeingaben wählen den Laufzeitmodus aus:

• Keine Referenzmedien → generate
• Beliebige Bildreferenz → imageToVideo
• Beliebige Videoreferenz → videoToVideo
• Referenz-Audioeingaben ändern den aufgelösten Modus nicht; sie werden auf den Modus angewendet, den die Bild-/Videoreferenzen auswählen, und funktionieren nur mit Providern, die maxInputAudios deklarieren.

Gemischte Bild- und Videoreferenzen sind keine stabile gemeinsame Fähigkeitsoberfläche. Bevorzugen Sie einen Referenztyp pro Anfrage.

Fallback und typisierte Optionen

Einige Fähigkeitsprüfungen werden auf der Fallback-Ebene statt an der Tool-Grenze angewendet, sodass eine Anfrage, die die Grenzen des primären Providers überschreitet, weiterhin auf einem fähigen Fallback ausgeführt werden kann:

• Aktiver Kandidat, der kein maxInputAudios (oder 0) deklariert, wird übersprungen, wenn die Anfrage Audioreferenzen enthält; der nächste Kandidat wird versucht.
• maxDurationSeconds des aktiven Kandidaten liegt unter dem angeforderten durationSeconds und es ist keine Liste supportedDurationSeconds deklariert → übersprungen.
• Anfrage enthält providerOptions und der aktive Kandidat deklariert explizit ein typisiertes providerOptions-Schema → übersprungen, wenn gelieferte Schlüssel nicht im Schema enthalten sind oder Werttypen nicht übereinstimmen. Provider ohne deklariertes Schema erhalten Optionen unverändert (rückwärtskompatible Durchreichung). Ein Provider kann alle Provider-Optionen ablehnen, indem er ein leeres Schema deklariert (capabilities.providerOptions: {}), was denselben Skip wie eine Typabweichung verursacht.

Der erste Skip-Grund in einer Anfrage wird mit warn protokolliert, damit Operatoren sehen, wann ihr primärer Provider übergangen wurde; nachfolgende Skips werden mit debug protokolliert, um lange Fallback-Ketten ruhig zu halten. Wenn jeder Kandidat übersprungen wird, enthält der aggregierte Fehler den Skip-Grund für jeden.

Aktionen

Modellauswahl

OpenClaw löst das Modell in dieser Reihenfolge auf:

1. Tool-Parameter model - wenn der Agent im Aufruf einen angibt.
2. videoGenerationModel.primary aus der Konfiguration.
3. videoGenerationModel.fallbacks der Reihe nach.
4. Automatische Erkennung - Provider mit gültiger Authentifizierung, beginnend mit dem aktuellen Standard-Provider, anschließend verbleibende Provider in alphabetischer Reihenfolge.

Wenn ein Provider fehlschlägt, wird der nächste Kandidat automatisch versucht. Wenn alle Kandidaten fehlschlagen, enthält der Fehler Details aus jedem Versuch.

Setzen Sie agents.defaults.mediaGenerationAutoProviderFallback: false, um nur die expliziten Einträge model, primary und fallbacks zu verwenden.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

Provider-Hinweise

Provider-Fähigkeitsmodi

Der gemeinsame Videogenerierungsvertrag unterstützt modusspezifische Fähigkeiten statt nur flache aggregierte Grenzen. Neue Provider-Implementierungen sollten explizite Modusblöcke bevorzugen:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Flache aggregierte Felder wie maxInputImages und maxInputVideos reichen nicht aus, um Unterstützung für Transformationsmodi auszuweisen. Provider sollten generate, imageToVideo und videoToVideo explizit deklarieren, damit Live- Tests, Vertragstests und das gemeinsame Tool video_generate die Modusunterstützung deterministisch validieren können.

Wenn ein Modell in einem Provider breitere Unterstützung für Referenzeingaben hat als der Rest, verwenden Sie maxInputImagesByModel, maxInputVideosByModel oder maxInputAudiosByModel, statt die modusweite Grenze anzuheben.

Live-Tests

Opt-in-Live-Abdeckung für die gemeinsam gebündelten Provider:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Repo-Wrapper:

pnpm test:live:media video

Diese Live-Datei verwendet standardmäßig bereits exportierte Provider-Umgebungsvariablen vor gespeicherten Authentifizierungsprofilen und führt standardmäßig einen release-sicheren Smoke-Test aus:

• generate für jeden Nicht-FAL-Provider in der Prüfung.
• Einsekündiger Hummer-Prompt.
• Vorgangslimit pro Provider aus OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (standardmäßig 180000).

FAL ist opt-in, weil die Warteschlangenlatenz auf Provider-Seite die Release- Zeit dominieren kann:

pnpm test:live:media video --video-providers fal

Setzen Sie OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1, um auch deklarierte Transformationsmodi auszuführen, die die gemeinsame Prüfung mit lokalen Medien sicher testen kann:

• imageToVideo, wenn capabilities.imageToVideo.enabled.
• videoToVideo, wenn capabilities.videoToVideo.enabled und das Provider-/Modell pufferbasierte lokale Videoeingabe in der gemeinsamen Prüfung akzeptiert.

Heute deckt die gemeinsame videoToVideo-Live-Lane runway nur ab, wenn Sie runway/gen4_aleph auswählen.

Konfiguration

Legen Sie das standardmäßige Videogenerierungsmodell in Ihrer OpenClaw-Konfiguration fest:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Oder über die CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Verwandt

• Alibaba Model Studio
• Hintergrundaufgaben - Aufgabenverfolgung für asynchrone Videogenerierung
• BytePlus
• ComfyUI
• Konfigurationsreferenz
• fal
• Google (Gemini)
• MiniMax
• Modelle
• OpenAI
• Qwen
• Runway
• Together AI
• Tools-Übersicht
• Vydra
• xAI