Videogenerierung

"status" gibt die aktuelle Aufgabe der Sitzung zurück; "list" prüft Provider.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Optionale Zeitüberschreitung für den Provider-Vorgang in Millisekunden. Wenn sie weggelassen wird, verwendet OpenClaw agents.defaults.mediaModels.video.timeoutMs, sofern konfiguriert, andernfalls den vom Plugin festgelegten Standardwert des Providers, sofern vorhanden. OPENCLAW_DOCS_MARKER:paramClose:

Referenzeingaben bestimmen den Laufzeitmodus:

• Keine Referenzmedien -> generate
• Beliebige Bildreferenz -> imageToVideo
• Beliebige Videoreferenz -> videoToVideo
• Referenzaudioeingaben ändern den aufgelösten Modus nicht; sie werden zusätzlich zu dem Modus angewendet, den die Bild-/Videoreferenzen bestimmen, und funktionieren nur mit Providern, die maxInputAudios deklarieren.

Gemischte Bild- und Videoreferenzen sind keine stabile, gemeinsam unterstützte Fähigkeitsoberfläche. Verwenden Sie vorzugsweise nur einen Referenztyp pro Anfrage.

Fallback und typisierte Optionen

Einige Fähigkeitsprüfungen erfolgen auf der Fallback-Ebene statt an der Werkzeuggrenze. Daher kann eine Anfrage, welche die Grenzen des primären Providers überschreitet, weiterhin bei einem geeigneten Fallback ausgeführt werden:

• Ein aktiver Kandidat, der kein maxInputAudios (oder 0) deklariert, wird übersprungen, wenn die Anfrage Audioreferenzen enthält; der nächste Kandidat wird versucht. Dieselbe Prüfung gilt für die Anzahl der Bild- und Videoreferenzen gegenüber maxInputImages/maxInputVideos.
• Liegt maxDurationSeconds des aktiven Kandidaten unter dem angeforderten durationSeconds und ist keine supportedDurationSeconds-Liste deklariert, wird er übersprungen.
• Enthält die Anfrage providerOptions und deklariert der aktive Kandidat ausdrücklich ein typisiertes providerOptions-Schema, wird er übersprungen, wenn die angegebenen Schlüssel nicht im Schema enthalten sind oder die Werttypen nicht übereinstimmen. Provider ohne deklariertes Schema erhalten die Optionen unverändert (abwärtskompatible Durchleitung). Ein Provider kann sämtliche Provideroptionen ablehnen, indem er ein leeres Schema (capabilities.providerOptions: {}) deklariert; dies führt zum gleichen Überspringen wie eine Typabweichung.

Der erste Grund für das Überspringen in einer Anfrage wird unter warn protokolliert, damit Betreiber erkennen können, wann ihr primärer Provider übergangen wurde; nachfolgende Gründe werden unter debug protokolliert, damit lange Fallback-Ketten keine unnötigen Meldungen erzeugen. Wenn jeder Kandidat übersprungen wird, enthält der zusammengefasste Fehler den jeweiligen Grund für jeden Kandidaten.

Aktionen

Modellauswahl

OpenClaw löst das Modell in dieser Reihenfolge auf:

1. Werkzeugparameter model – falls der Agent einen im Aufruf angibt.
2. videoGenerationModel.primary aus der Konfiguration.
3. videoGenerationModel.fallbacks der Reihe nach.
4. Automatische Erkennung – Provider mit gültiger Authentifizierung, beginnend mit dem aktuellen Standard-Provider, danach die übrigen Provider in alphabetischer Reihenfolge.

Wenn ein Provider fehlschlägt, wird automatisch der nächste Kandidat versucht. Wenn alle Kandidaten fehlschlagen, enthält der Fehler Details zu jedem Versuch.

Der automatische Fallback zwischen authentifizierten Providern ist immer aktiviert. Ein aufrufbezogenes model bleibt maßgeblich.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // optionale auf das Werkzeug bezogene Überschreibung der Zeitüberschreitung für Provider-Anfragen      },    },  },}

Hinweise zu Providern

Provider-Fähigkeitsmodi

Der gemeinsame Vertrag zur Videogenerierung unterstützt modusspezifische Fähigkeiten anstelle ausschließlich flacher Gesamtgrenzwerte. Neue Provider-Implementierungen sollten explizite Modusblöcke bevorzugen:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Flache Gesamtfelder wie maxInputImages und maxInputVideos reichen nicht aus, um die Unterstützung von Transformationsmodi auszuweisen. Provider sollten generate, imageToVideo und videoToVideo explizit deklarieren, damit Live- Tests, Vertragstests und das gemeinsame Tool video_generate die Modusunterstützung deterministisch validieren können.

Wenn ein Modell eines Providers eine breitere Unterstützung für Referenzeingaben als die übrigen bietet, verwenden Sie maxInputImagesByModel, maxInputVideosByModel oder maxInputAudiosByModel, anstatt den Grenzwert für den gesamten Modus anzuheben.

Live-Tests

Optional aktivierbare Live-Abdeckung für die gemeinsam gebündelten Provider:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Repo-Wrapper:

pnpm test:live:media video

Diese Live-Datei verwendet standardmäßig bereits exportierte Provider-Umgebungsvariablen vor gespeicherten Authentifizierungsprofilen und führt standardmäßig einen release-sicheren Smoke-Test aus:

• generate für jeden Nicht-FAL-Provider im Durchlauf.
• Einsekündiger Lobster-Prompt.
• Grenzwert für Vorgänge pro Provider aus OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (standardmäßig 180000).

FAL muss ausdrücklich aktiviert werden, da die providerseitige Warteschlangenlatenz die Release- Dauer dominieren kann:

pnpm test:live:media video --video-providers fal

Setzen Sie OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1, um zusätzlich deklarierte Transformationsmodi auszuführen, die der gemeinsame Durchlauf sicher mit lokalen Medien testen kann:

• imageToVideo, wenn capabilities.imageToVideo.enabled.
• videoToVideo, wenn capabilities.videoToVideo.enabled und der Provider bzw. das Modell im gemeinsamen Durchlauf puffergestützte lokale Videoeingaben akzeptiert.

Derzeit deckt die gemeinsame Live-Teststrecke videoToVideo nur dann runway ab, wenn Sie runway/gen4_aleph auswählen.

Konfiguration

Legen Sie das Standardmodell für die Videogenerierung in Ihrer OpenClaw-Konfiguration fest:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Oder über die CLI:

openclaw config set agents.defaults.mediaModels.video.primary "qwen/wan2.6-t2v"

Verwandte Themen

• Alibaba Model Studio
• Hintergrundaufgaben - Aufgabenverfolgung für asynchrone Videogenerierung
• BytePlus
• ComfyUI
• Konfigurationsreferenz
• fal
• Google (Gemini)
• MiniMax
• Modelle
• OpenAI
• Qwen
• Runway
• Together AI
• Tool-Übersicht
• Vydra
• xAI