การสร้างวิดีโอ

"status" ส่งคืนงานของเซสชันปัจจุบัน ส่วน "list" ใช้ตรวจสอบผู้ให้บริการ

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg ระยะหมดเวลาของการดำเนินการกับผู้ให้บริการเป็นมิลลิวินาทีซึ่งระบุหรือไม่ก็ได้ หากไม่ระบุ OpenClaw จะใช้ agents.defaults.videoGenerationModel.timeoutMs หากมีการกำหนดค่าไว้ มิฉะนั้นจะใช้ค่าเริ่มต้นของผู้ให้บริการที่ผู้เขียน plugin กำหนดไว้ หากมี OPENCLAW_DOCS_MARKER:paramClose:

อินพุตอ้างอิงใช้เลือกโหมดรันไทม์:

• ไม่มีสื่ออ้างอิง -> generate
• มีรูปภาพอ้างอิงใด ๆ -> imageToVideo
• มีวิดีโออ้างอิงใด ๆ -> videoToVideo
• อินพุตเสียงอ้างอิง ไม่ เปลี่ยนโหมดที่กำหนดได้ โดยจะถูกนำไปใช้ เพิ่มเติมจากโหมดที่การอ้างอิงรูปภาพ/วิดีโอเลือกไว้ และทำงานเฉพาะ กับผู้ให้บริการที่ประกาศ maxInputAudios

การใช้การอ้างอิงรูปภาพและวิดีโอร่วมกันไม่ใช่พื้นผิวความสามารถที่ใช้ร่วมกันอย่างเสถียร ควรใช้การอ้างอิงเพียงประเภทเดียวต่อคำขอ

ทางเลือกสำรองและตัวเลือกแบบมีชนิดข้อมูล

การตรวจสอบความสามารถบางอย่างจะเกิดขึ้นที่ชั้นทางเลือกสำรอง แทนที่จะเป็นขอบเขตของเครื่องมือ ดังนั้นคำขอที่เกินขีดจำกัดของผู้ให้บริการหลักยังคงสามารถ ทำงานกับผู้ให้บริการสำรองที่มีความสามารถได้:

• ตัวเลือกที่ใช้งานอยู่ซึ่งไม่ได้ประกาศ maxInputAudios (หรือ 0) จะถูกข้ามเมื่อ คำขอมีเสียงอ้างอิง จากนั้นจะลองตัวเลือกถัดไป การป้องกันเดียวกันนี้ ใช้กับจำนวนการอ้างอิงรูปภาพและวิดีโอโดยเทียบกับ maxInputImages/maxInputVideos
• maxDurationSeconds ของตัวเลือกที่ใช้งานอยู่ต่ำกว่า durationSeconds ที่ร้องขอ และไม่มีรายการ supportedDurationSeconds ที่ประกาศไว้ -> ข้าม
• คำขอมี providerOptions และตัวเลือกที่ใช้งานอยู่ประกาศ สคีมา providerOptions แบบมีชนิดข้อมูลอย่างชัดเจน -> ข้ามหากคีย์ที่ระบุ ไม่มีอยู่ในสคีมา หรือชนิดของค่าไม่ตรงกัน ผู้ให้บริการที่ไม่มี สคีมาที่ประกาศไว้จะได้รับตัวเลือกตามที่ระบุ (การส่งผ่านที่ เข้ากันได้ย้อนหลัง) ผู้ให้บริการสามารถเลือกไม่รับตัวเลือกของผู้ให้บริการทั้งหมดได้โดย ประกาศสคีมาว่าง (capabilities.providerOptions: {}) ซึ่ง จะทำให้ข้ามเช่นเดียวกับกรณีชนิดข้อมูลไม่ตรงกัน

เหตุผลการข้ามครั้งแรกในคำขอจะบันทึกที่ warn เพื่อให้ผู้ปฏิบัติงานเห็นว่า ผู้ให้บริการหลักถูกข้ามเมื่อใด ส่วนการข้ามครั้งถัดไปจะบันทึกที่ debug เพื่อ ไม่ให้เชนทางเลือกสำรองที่ยาวสร้างบันทึกมากเกินไป หากตัวเลือกทั้งหมดถูกข้าม ข้อผิดพลาดแบบรวมจะมีเหตุผลการข้ามของแต่ละตัวเลือก

การดำเนินการ

การเลือกโมเดล

OpenClaw จะกำหนดโมเดลตามลำดับต่อไปนี้:

1. พารามิเตอร์เครื่องมือ model - หากเอเจนต์ระบุไว้ในการเรียก
2. videoGenerationModel.primary จากการกำหนดค่า
3. videoGenerationModel.fallbacks ตามลำดับ
4. การตรวจหาอัตโนมัติ - ผู้ให้บริการที่มีข้อมูลรับรองความถูกต้องที่ใช้ได้ โดยเริ่มจาก ผู้ให้บริการเริ่มต้นปัจจุบัน แล้วตามด้วยผู้ให้บริการที่เหลือตามลำดับ ตัวอักษร

หากผู้ให้บริการล้มเหลว ระบบจะลองตัวเลือกถัดไปโดยอัตโนมัติ หาก ตัวเลือกทั้งหมดล้มเหลว ข้อผิดพลาดจะมีรายละเอียดจากแต่ละครั้งที่ลอง

ตั้งค่า agents.defaults.mediaGenerationAutoProviderFallback: false เพื่อใช้ เฉพาะรายการ model, primary และ fallbacks ที่ระบุอย่างชัดเจน

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // การแทนที่ระยะหมดเวลาของคำขอผู้ให้บริการต่อเครื่องมือซึ่งระบุหรือไม่ก็ได้      },    },  },}

หมายเหตุเกี่ยวกับผู้ให้บริการ

โหมดความสามารถของผู้ให้บริการ

สัญญาการสร้างวิดีโอที่ใช้ร่วมกันรองรับความสามารถเฉพาะโหมด แทนที่จะรองรับเฉพาะขีดจำกัดรวมแบบแบน การใช้งานผู้ให้บริการใหม่ ควรเลือกใช้บล็อกโหมดอย่างชัดเจน:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

ฟิลด์รวมแบบแบน เช่น maxInputImages และ maxInputVideos ไม่ เพียงพอสำหรับระบุการรองรับโหมดการแปลง ผู้ให้บริการควร ประกาศ generate, imageToVideo และ videoToVideo อย่างชัดเจน เพื่อให้การทดสอบแบบสด การทดสอบสัญญา และเครื่องมือ video_generate ที่ใช้ร่วมกันสามารถตรวจสอบ การรองรับโหมดได้อย่างกำหนดแน่นอน

เมื่อโมเดลหนึ่งของผู้ให้บริการรองรับอินพุตอ้างอิงได้กว้างกว่า โมเดลอื่น ให้ใช้ maxInputImagesByModel, maxInputVideosByModel หรือ maxInputAudiosByModel แทนการเพิ่มขีดจำกัดของทั้งโหมด

การทดสอบแบบสด

ความครอบคลุมแบบสดที่เลือกเปิดใช้ได้สำหรับผู้ให้บริการร่วมที่มาพร้อมระบบ:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

ตัวหุ้มของรีโพ:

pnpm test:live:media video

โดยค่าเริ่มต้น ไฟล์การทดสอบแบบสดนี้ใช้ตัวแปรสภาพแวดล้อมของผู้ให้บริการที่ส่งออกไว้แล้วก่อน โปรไฟล์การยืนยันตัวตนที่จัดเก็บไว้ และดำเนินการทดสอบควันแบบปลอดภัยสำหรับรีลีสเป็นค่าเริ่มต้น:

• generate สำหรับผู้ให้บริการที่ไม่ใช่ FAL ทุกรายในชุดทดสอบ
• พรอมต์ lobster หนึ่งวินาที
• ขีดจำกัดการดำเนินการต่อผู้ให้บริการจาก OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (ค่าเริ่มต้นคือ 180000)

FAL ต้องเลือกเปิดใช้ เนื่องจากความหน่วงของคิวฝั่งผู้ให้บริการอาจกินเวลา ของรีลีสเป็นส่วนใหญ่:

pnpm test:live:media video --video-providers fal

ตั้งค่า OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 เพื่อเรียกใช้ โหมดการแปลงที่ประกาศไว้เพิ่มเติม ซึ่งชุดทดสอบร่วมสามารถดำเนินการได้อย่างปลอดภัยด้วยสื่อภายในเครื่อง:

• imageToVideo เมื่อ capabilities.imageToVideo.enabled
• videoToVideo เมื่อ capabilities.videoToVideo.enabled และ ผู้ให้บริการ/โมเดลยอมรับอินพุตวิดีโอภายในเครื่องที่รองรับด้วยบัฟเฟอร์ใน ชุดทดสอบร่วม

ปัจจุบันเลนสด videoToVideo ที่ใช้ร่วมกันครอบคลุม runway เฉพาะเมื่อ เลือก runway/gen4_aleph

การกำหนดค่า

ตั้งค่าโมเดลสร้างวิดีโอเริ่มต้นในการกำหนดค่า OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

หรือผ่าน CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

ที่เกี่ยวข้อง

• Alibaba Model Studio
• งานเบื้องหลัง - การติดตามงานสำหรับการสร้างวิดีโอแบบอะซิงโครนัส
• BytePlus
• ComfyUI
• ข้อมูลอ้างอิงการกำหนดค่า
• fal
• Google (Gemini)
• MiniMax
• โมเดล
• OpenAI
• Qwen
• Runway
• Together AI
• ภาพรวมเครื่องมือ
• Vydra
• xAI