Tạo video

"status" trả về tác vụ của phiên hiện tại; "list" kiểm tra các nhà cung cấp.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Thời gian chờ tùy chọn cho thao tác của nhà cung cấp, tính bằng mili giây. Khi bỏ qua, OpenClaw dùng agents.defaults.videoGenerationModel.timeoutMs nếu đã định cấu hình; nếu không, dùng giá trị mặc định của nhà cung cấp do tác giả plugin thiết lập khi có. OPENCLAW_DOCS_MARKER:paramClose:

Các đầu vào tham chiếu xác định chế độ thời gian chạy:

• Không có phương tiện tham chiếu -> generate
• Có bất kỳ hình ảnh tham chiếu nào -> imageToVideo
• Có bất kỳ video tham chiếu nào -> videoToVideo
• Đầu vào âm thanh tham chiếu không thay đổi chế độ đã phân giải; chúng được áp dụng bổ sung trên chế độ do các tham chiếu hình ảnh/video lựa chọn và chỉ hoạt động với các nhà cung cấp khai báo maxInputAudios.

Kết hợp tham chiếu hình ảnh và video không phải là một bề mặt khả năng dùng chung ổn định. Nên dùng một loại tham chiếu cho mỗi yêu cầu.

Dự phòng và các tùy chọn có kiểu

Một số bước kiểm tra khả năng được áp dụng tại lớp dự phòng thay vì ranh giới công cụ, vì vậy một yêu cầu vượt quá giới hạn của nhà cung cấp chính vẫn có thể chạy trên một nhà cung cấp dự phòng đủ khả năng:

• Ứng viên đang hoạt động không khai báo maxInputAudios (hoặc 0) sẽ bị bỏ qua khi yêu cầu chứa tham chiếu âm thanh; ứng viên tiếp theo sẽ được thử. Cơ chế bảo vệ tương tự áp dụng cho số lượng tham chiếu hình ảnh và video so với maxInputImages/maxInputVideos.
• maxDurationSeconds của ứng viên đang hoạt động thấp hơn durationSeconds được yêu cầu và không có danh sách supportedDurationSeconds được khai báo -> bị bỏ qua.
• Yêu cầu chứa providerOptions và ứng viên đang hoạt động khai báo rõ ràng một lược đồ providerOptions có kiểu -> bị bỏ qua nếu các khóa được cung cấp không có trong lược đồ hoặc kiểu giá trị không khớp. Các nhà cung cấp không có lược đồ được khai báo sẽ nhận nguyên trạng các tùy chọn (truyền thẳng tương thích ngược). Nhà cung cấp có thể từ chối mọi tùy chọn của nhà cung cấp bằng cách khai báo một lược đồ rỗng (capabilities.providerOptions: {}), điều này dẫn đến việc bị bỏ qua tương tự như khi không khớp kiểu.

Lý do bỏ qua đầu tiên trong một yêu cầu được ghi nhật ký ở warn để người vận hành biết khi nào nhà cung cấp chính của họ bị bỏ qua; các lần bỏ qua tiếp theo được ghi ở debug để giữ im lặng cho các chuỗi dự phòng dài. Nếu mọi ứng viên đều bị bỏ qua, lỗi tổng hợp sẽ bao gồm lý do bỏ qua của từng ứng viên.

Hành động

Lựa chọn mô hình

OpenClaw phân giải mô hình theo thứ tự sau:

1. Tham số công cụ model - nếu tác nhân chỉ định một tham số trong lệnh gọi.
2. videoGenerationModel.primary từ cấu hình.
3. videoGenerationModel.fallbacks theo thứ tự.
4. Tự động phát hiện - các nhà cung cấp có thông tin xác thực hợp lệ, bắt đầu bằng nhà cung cấp mặc định hiện tại, sau đó là các nhà cung cấp còn lại theo thứ tự bảng chữ cái.

Nếu một nhà cung cấp thất bại, ứng viên tiếp theo sẽ tự động được thử. Nếu tất cả ứng viên đều thất bại, lỗi sẽ bao gồm chi tiết từ từng lần thử.

Đặt agents.defaults.mediaGenerationAutoProviderFallback: false để chỉ dùng các mục model, primary và fallbacks rõ ràng.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // tùy chọn ghi đè thời gian chờ yêu cầu của nhà cung cấp theo từng công cụ      },    },  },}

Ghi chú về nhà cung cấp

Chế độ khả năng của nhà cung cấp

Hợp đồng tạo video dùng chung hỗ trợ các khả năng theo từng chế độ thay vì chỉ các giới hạn tổng hợp dạng phẳng. Các triển khai nhà cung cấp mới nên ưu tiên các khối chế độ rõ ràng:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Các trường tổng hợp dạng phẳng như maxInputImages và maxInputVideos không đủ để công bố khả năng hỗ trợ chế độ chuyển đổi. Nhà cung cấp nên khai báo rõ ràng generate, imageToVideo và videoToVideo để các bài kiểm thử trực tiếp, bài kiểm thử hợp đồng và công cụ video_generate dùng chung có thể xác thực khả năng hỗ trợ chế độ một cách xác định.

Khi một mô hình trong một nhà cung cấp hỗ trợ đầu vào tham chiếu rộng hơn các mô hình còn lại, hãy dùng maxInputImagesByModel, maxInputVideosByModel hoặc maxInputAudiosByModel thay vì tăng giới hạn cho toàn bộ chế độ.

Kiểm thử trực tiếp

Phạm vi kiểm thử trực tiếp tùy chọn cho các nhà cung cấp tích hợp dùng chung:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Trình bao bọc của kho mã:

pnpm test:live:media video

Theo mặc định, tệp kiểm thử trực tiếp này ưu tiên các biến môi trường đã xuất của nhà cung cấp hơn các hồ sơ xác thực đã lưu và chạy một bài kiểm tra nhanh an toàn cho bản phát hành theo mặc định:

• generate cho mọi nhà cung cấp không phải FAL trong lượt kiểm tra.
• Lời nhắc lobster dài một giây.
• Giới hạn thao tác cho mỗi nhà cung cấp từ OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (mặc định là 180000).

FAL là tùy chọn vì độ trễ hàng đợi phía nhà cung cấp có thể chiếm phần lớn thời gian phát hành:

pnpm test:live:media video --video-providers fal

Đặt OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 để cũng chạy các chế độ chuyển đổi đã khai báo mà lượt kiểm tra dùng chung có thể thực hiện an toàn với nội dung đa phương tiện cục bộ:

• imageToVideo khi capabilities.imageToVideo.enabled.
• videoToVideo khi capabilities.videoToVideo.enabled và nhà cung cấp/mô hình chấp nhận đầu vào video cục bộ dựa trên bộ đệm trong lượt kiểm tra dùng chung.

Hiện tại, làn kiểm thử trực tiếp videoToVideo dùng chung chỉ bao phủ runway khi bạn chọn runway/gen4_aleph.

Cấu hình

Đặt mô hình tạo video mặc định trong cấu hình OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Hoặc thông qua CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Liên quan

• Alibaba Model Studio
• Tác vụ nền - theo dõi tác vụ cho quá trình tạo video bất đồng bộ
• BytePlus
• ComfyUI
• Tham chiếu cấu hình
• fal
• Google (Gemini)
• MiniMax
• Mô hình
• OpenAI
• Qwen
• Runway
• Together AI
• Tổng quan về công cụ
• Vydra
• xAI