vLLM

vLLM จะถูกถือเป็นแบ็กเอนด์ /v1 แบบพร็อกซีที่เข้ากันได้กับ OpenAI ไม่ใช่ปลายทาง OpenAI แบบเนทีฟ ซึ่งหมายความว่า:

สำหรับโมเดล Qwen ที่ให้บริการผ่าน vLLM ให้ตั้งค่า compat.thinkingFormat: "qwen-chat-template" บนแถวโมเดลของผู้ให้บริการที่กำหนดค่าไว้ เมื่อเซิร์ฟเวอร์คาดหวัง kwargs ของเทมเพลตแชท Qwen โมเดล ที่กำหนดค่าด้วยวิธีนี้จะแสดงโปรไฟล์ /think แบบไบนารี (off, on) เพราะ การคิดของเทมเพลต Qwen เป็นแฟล็กคำขอแบบเปิด/ปิด ไม่ใช่บันไดระดับความพยายาม แบบ OpenAI

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

OpenClaw จับคู่ /think off เป็น:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

ระดับการคิดที่ไม่ใช่ off จะส่ง enable_thinking: true หากปลายทางของคุณ คาดหวังแฟล็กระดับบนสุดแบบ DashScope แทน ให้ใช้ compat.thinkingFormat: "qwen" เพื่อส่ง enable_thinking ที่รากของคำขอ

vLLM/Nemotron 3 สามารถใช้ kwargs ของเทมเพลตแชทเพื่อควบคุมว่าจะส่งคืนการใช้เหตุผลเป็น การใช้เหตุผลแบบซ่อนหรือข้อความคำตอบที่มองเห็นได้ เมื่อเซสชัน OpenClaw ใช้ vllm/nemotron-3-* โดยปิดการคิด Plugin vLLM ที่รวมมาด้วยจะส่ง:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

หากต้องการปรับค่าเหล่านี้ ให้ตั้งค่า chat_template_kwargs ใต้พารามิเตอร์ของโมเดล หากคุณตั้งค่า params.extra_body.chat_template_kwargs ด้วย ค่านั้นจะมี ลำดับความสำคัญสุดท้าย เพราะ extra_body เป็นการแทนที่เนื้อหาคำขอรายการสุดท้าย

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

ก่อนอื่นตรวจสอบให้แน่ใจว่า vLLM เริ่มต้นด้วยตัวแยกวิเคราะห์การเรียกใช้เครื่องมือและเทมเพลตแชท ที่ถูกต้องสำหรับโมเดล ตัวอย่างเช่น เอกสาร vLLM ระบุ hermes สำหรับโมเดล Qwen2.5 และ qwen3_xml สำหรับโมเดล Qwen3-Coder

อาการ:

• Skills หรือเครื่องมือไม่ทำงานเลย
• ผู้ช่วยพิมพ์ JSON/XML ดิบ เช่น {"name":"read","arguments":...}
• vLLM ส่งคืนอาร์เรย์ tool_calls ว่างเมื่อ OpenClaw ส่ง tool_choice: "auto"

บางชุดผสมของ Qwen/vLLM จะส่งคืนการเรียกใช้เครื่องมือแบบมีโครงสร้างเฉพาะเมื่อ คำขอใช้ tool_choice: "required" สำหรับรายการโมเดลเหล่านั้น ให้บังคับฟิลด์คำขอ ที่เข้ากันได้กับ OpenAI ด้วย params.extra_body:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

แทนที่ Qwen-Qwen2.5-Coder-32B-Instruct ด้วย ID ที่ตรงกันซึ่งส่งคืนโดย:

openclaw models list --provider vllm

คุณสามารถใช้การแทนที่เดียวกันจาก CLI ได้:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

นี่เป็นวิธีแก้ปัญหาความเข้ากันได้แบบเลือกใช้ ทำให้ทุกรอบของโมเดลที่มี เครื่องมือต้องมีการเรียกใช้เครื่องมือ ดังนั้นให้ใช้เฉพาะกับรายการโมเดลภายในเครื่อง แบบเฉพาะที่ยอมรับลักษณะการทำงานนั้นได้ อย่าใช้เป็นค่าเริ่มต้นส่วนกลางสำหรับโมเดล vLLM ทั้งหมด และอย่าใช้พร็อกซีที่แปลงข้อความผู้ช่วยใดๆ เป็นการเรียกใช้เครื่องมือที่เรียกใช้งานได้อย่างไม่ตรวจสอบ

หากเซิร์ฟเวอร์ vLLM ของคุณทำงานบนโฮสต์หรือพอร์ตที่ไม่ใช่ค่าเริ่มต้น ให้ตั้งค่า baseUrl ในการกำหนดค่าผู้ให้บริการอย่างชัดเจน:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

สำหรับโมเดลภายในเครื่องขนาดใหญ่ โฮสต์ LAN ระยะไกล หรือลิงก์ tailnet ให้ตั้งค่า การหมดเวลาของคำขอในขอบเขตผู้ให้บริการ:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds ใช้กับคำขอ HTTP ของโมเดล vLLM เท่านั้น รวมถึง การตั้งค่าการเชื่อมต่อ ส่วนหัวการตอบกลับ การสตรีมเนื้อหา และการยกเลิก guarded-fetch โดยรวม ควรใช้สิ่งนี้ก่อนเพิ่ม agents.defaults.timeoutSeconds ซึ่งควบคุมการทำงานทั้งหมดของเอเจนต์

ตรวจสอบว่าเซิร์ฟเวอร์ vLLM กำลังทำงานและเข้าถึงได้:

curl http://127.0.0.1:8000/v1/models

หากคุณเห็นข้อผิดพลาดการเชื่อมต่อ ให้ตรวจสอบโฮสต์ พอร์ต และว่า vLLM เริ่มต้นด้วยโหมดเซิร์ฟเวอร์ที่เข้ากันได้กับ OpenAI แล้ว สำหรับปลายทางแบบลูปแบ็ก, LAN หรือ Tailscale ที่ระบุอย่างชัดเจน OpenClaw จะเชื่อถือ ต้นทาง models.providers.vllm.baseUrl ที่กำหนดค่าไว้อย่างตรงกันสำหรับคำขอโมเดล ที่มีการป้องกัน ต้นทางเมทาดาทา/link-local ยังคงถูกบล็อกโดยไม่มีการ เลือกใช้อย่างชัดเจน ตั้งค่า models.providers.vllm.request.allowPrivateNetwork: true เฉพาะ เมื่อคำขอ vLLM ต้องเข้าถึงต้นทางส่วนตัวอื่น และตั้งค่าเป็น false เพื่อเลือกไม่ใช้ความเชื่อถือของต้นทางที่ตรงกัน

หากคำขอล้มเหลวด้วยข้อผิดพลาดการยืนยันตัวตน ให้ตั้งค่า VLLM_API_KEY จริงที่ตรงกับการกำหนดค่าเซิร์ฟเวอร์ของคุณ หรือกำหนดค่าผู้ให้บริการอย่างชัดเจนใต้ models.providers.vllm

การค้นหาอัตโนมัติต้องตั้งค่า VLLM_API_KEY หากคุณกำหนด models.providers.vllm ไว้แล้ว OpenClaw จะใช้เฉพาะโมเดลที่คุณประกาศไว้ เว้นแต่ agents.defaults.models จะมี "vllm/*": {}

หากโมเดล Qwen พิมพ์ไวยากรณ์เครื่องมือ JSON/XML แทนที่จะเรียกใช้ skill ให้ตรวจสอบคำแนะนำ Qwen ในการกำหนดค่าขั้นสูงด้านบน วิธีแก้ไขตามปกติคือ:

• เริ่ม vLLM ด้วยตัวแยกวิเคราะห์/เทมเพลตที่ถูกต้องสำหรับโมเดลนั้น
• ยืนยัน ID โมเดลที่ตรงกันด้วย openclaw models list --provider vllm
• เพิ่มการแทนที่ params.extra_body.tool_choice: "required" ต่อโมเดลแบบเฉพาะ เฉพาะเมื่อ tool_choice: "auto" ยังส่งคืนการเรียกใช้เครื่องมือ ที่ว่างหรือเป็นข้อความเท่านั้น