การสร้างวิดีโอ

"status" ส่งคืนงานของเซสชันปัจจุบัน; "list" ตรวจสอบผู้ให้บริการ

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg เวลาหมดเวลาของการดำเนินการของผู้ให้บริการแบบไม่บังคับในหน่วยมิลลิวินาที เมื่อละเว้น OpenClaw จะใช้ agents.defaults.videoGenerationModel.timeoutMs หากกำหนดค่าไว้ มิฉะนั้นจะใช้ค่าเริ่มต้นของผู้ให้บริการที่ผู้เขียน Plugin กำหนดไว้เมื่อมีอยู่ OPENCLAW_DOCS_MARKER:paramClose:

อินพุตอ้างอิงเลือกโหมดรันไทม์:

• ไม่มีสื่ออ้างอิง → generate
• มีภาพอ้างอิงใดๆ → imageToVideo
• มีวิดีโออ้างอิงใดๆ → videoToVideo
• อินพุตเสียงอ้างอิง ไม่ เปลี่ยนโหมดที่ resolve ได้; อินพุตเหล่านี้จะนำไปใช้ ทับโหมดใดก็ตามที่ภาพ/วิดีโออ้างอิงเลือก และใช้งานได้เฉพาะ กับผู้ให้บริการที่ประกาศ maxInputAudios

การผสมภาพและวิดีโออ้างอิงไม่ใช่พื้นผิวความสามารถร่วมที่เสถียร ควรใช้ประเภทอ้างอิงเดียวต่อคำขอ

Fallback และตัวเลือกแบบระบุชนิด

การตรวจสอบความสามารถบางรายการถูกใช้ที่ชั้น fallback แทนที่จะเป็น ขอบเขตเครื่องมือ ดังนั้นคำขอที่เกินขีดจำกัดของผู้ให้บริการหลักจึงยัง สามารถทำงานบน fallback ที่มีความสามารถได้:

• ตัวเลือกที่ใช้งานอยู่ซึ่งไม่ได้ประกาศ maxInputAudios (หรือเป็น 0) จะถูกข้ามเมื่อ คำขอมีเสียงอ้างอิง; จากนั้นจะลองตัวเลือกถัดไป
• maxDurationSeconds ของตัวเลือกที่ใช้งานอยู่ต่ำกว่า durationSeconds ที่ขอ และไม่มีรายการ supportedDurationSeconds ที่ประกาศไว้ → ถูกข้าม
• คำขอมี providerOptions และตัวเลือกที่ใช้งานอยู่ประกาศ สคีมา providerOptions แบบระบุชนิดอย่างชัดเจน → ถูกข้ามหากคีย์ที่ส่งมา ไม่อยู่ในสคีมาหรือชนิดของค่าไม่ตรงกัน ผู้ให้บริการที่ไม่มี สคีมาที่ประกาศไว้จะได้รับตัวเลือกตามเดิม (การส่งผ่านที่เข้ากันได้ย้อนหลัง) ผู้ให้บริการสามารถเลือกไม่รับตัวเลือกของผู้ให้บริการทั้งหมดได้โดย ประกาศสคีมาว่าง (capabilities.providerOptions: {}) ซึ่ง ทำให้ถูกข้ามแบบเดียวกับชนิดไม่ตรงกัน

เหตุผลการข้ามรายการแรกในคำขอจะบันทึกที่ warn เพื่อให้ผู้ปฏิบัติงานเห็นเมื่อ ผู้ให้บริการหลักถูกข้าม; การข้ามครั้งถัดไปจะบันทึกที่ debug เพื่อ ไม่ให้สาย fallback ที่ยาวส่งเสียงรบกวน หากตัวเลือกทั้งหมดถูกข้าม ข้อผิดพลาดแบบรวมจะรวมเหตุผลการข้ามของแต่ละรายการไว้ด้วย

การดำเนินการ

การเลือกโมเดล

OpenClaw resolve โมเดลตามลำดับนี้:

1. พารามิเตอร์เครื่องมือ model - หาก agent ระบุไว้ในการเรียก
2. videoGenerationModel.primary จาก config
3. videoGenerationModel.fallbacks ตามลำดับ
4. การตรวจหาอัตโนมัติ - ผู้ให้บริการที่มี auth ถูกต้อง โดยเริ่มจาก ผู้ให้บริการเริ่มต้นปัจจุบัน แล้วตามด้วยผู้ให้บริการที่เหลือตามลำดับ ตัวอักษร

หากผู้ให้บริการล้มเหลว จะลองตัวเลือกถัดไปโดยอัตโนมัติ หากตัวเลือกทั้งหมด ล้มเหลว ข้อผิดพลาดจะรวมรายละเอียดจากแต่ละความพยายาม

ตั้งค่า agents.defaults.mediaGenerationAutoProviderFallback: false เพื่อใช้ เฉพาะรายการ model, primary และ fallbacks ที่ระบุอย่างชัดเจน

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

หมายเหตุผู้ให้บริการ

โหมดความสามารถของผู้ให้บริการ

สัญญาการสร้างวิดีโอที่ใช้ร่วมกันรองรับความสามารถเฉพาะโหมด แทนที่จะมีเพียงขีดจำกัดรวมแบบแบนเท่านั้น การใช้งานผู้ให้บริการใหม่ ควรเลือกใช้บล็อกโหมดแบบชัดเจน:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

ฟิลด์รวมแบบแบน เช่น maxInputImages และ maxInputVideos ไม่ เพียงพอสำหรับประกาศการรองรับโหมดแปลง ผู้ให้บริการควร ประกาศ generate, imageToVideo, และ videoToVideo อย่างชัดเจน เพื่อให้การทดสอบสด, การทดสอบสัญญา และเครื่องมือ video_generate ที่ใช้ร่วมกันสามารถตรวจสอบ การรองรับโหมดได้อย่างกำหนดแน่นอน

เมื่อโมเดลหนึ่งในผู้ให้บริการมีการรองรับอินพุตอ้างอิงกว้างกว่า โมเดลอื่น ให้ใช้ maxInputImagesByModel, maxInputVideosByModel หรือ maxInputAudiosByModel แทนการเพิ่มขีดจำกัดทั้งโหมด

การทดสอบสด

ความครอบคลุมแบบสดที่เลือกเปิดใช้ได้สำหรับผู้ให้บริการที่บันเดิลและใช้ร่วมกัน:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

ตัวครอบของรีโป:

pnpm test:live:media video

ไฟล์สดนี้ใช้ตัวแปรสภาพแวดล้อมของผู้ให้บริการที่ส่งออกไว้แล้วก่อนโปรไฟล์การยืนยันตัวตน ที่จัดเก็บไว้ตามค่าเริ่มต้น และรัน smoke ที่ปลอดภัยสำหรับการเผยแพร่ตามค่าเริ่มต้น:

• generate สำหรับผู้ให้บริการที่ไม่ใช่ FAL ทุกตัวในการกวาดตรวจ
• พรอมต์กุ้งล็อบสเตอร์หนึ่งวินาที
• ขีดจำกัดการดำเนินการต่อผู้ให้บริการจาก OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 ตามค่าเริ่มต้น)

FAL เป็นแบบเลือกเปิดใช้ เพราะเวลาแฝงของคิวฝั่งผู้ให้บริการอาจกินเวลาเผยแพร่ เป็นหลัก:

pnpm test:live:media video --video-providers fal

ตั้งค่า OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 เพื่อรันโหมด แปลงที่ประกาศไว้ด้วย ซึ่งการกวาดตรวจที่ใช้ร่วมกันสามารถทดสอบได้อย่างปลอดภัยด้วยสื่อโลคัล:

• imageToVideo เมื่อ capabilities.imageToVideo.enabled
• videoToVideo เมื่อ capabilities.videoToVideo.enabled และ ผู้ให้บริการ/โมเดลรับอินพุตวิดีโอโลคัลที่มีบัฟเฟอร์รองรับในการกวาดตรวจที่ใช้ร่วมกัน

ปัจจุบันเลนสด videoToVideo ที่ใช้ร่วมกันครอบคลุมเฉพาะ runway เมื่อคุณ เลือก runway/gen4_aleph

การกำหนดค่า

ตั้งค่าโมเดลสร้างวิดีโอเริ่มต้นในคอนฟิก OpenClaw ของคุณ:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

หรือผ่าน CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

ที่เกี่ยวข้อง

• Alibaba Model Studio
• งานเบื้องหลัง - การติดตามงานสำหรับการสร้างวิดีโอแบบอะซิงโครนัส
• BytePlus
• ComfyUI
• ข้อมูลอ้างอิงการกำหนดค่า
• fal
• Google (Gemini)
• MiniMax
• โมเดล
• OpenAI
• Qwen
• Runway
• Together AI
• ภาพรวมเครื่องมือ
• Vydra
• xAI