vLLM

با vLLM به‌عنوان یک بک‌اند /v1 سازگار با OpenAI و به‌سبک پراکسی رفتار می‌شود، نه یک نقطه پایانی بومی OpenAI:

برای مدل‌های Qwen، هنگامی‌که سرور آرگومان‌های کلیدی قالب چت Qwen را انتظار دارد، compat.thinkingFormat: "qwen-chat-template" را در ردیف مدل تنظیم کنید. این مدل‌ها یک پروفایل دودویی /think ‏(off، on) ارائه می‌کنند، زیرا تفکر قالب چت Qwen یک پرچم روشن/خاموش است، نه یک نردبان شدت به‌سبک OpenAI.

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

OpenClaw، ‏/think off را به مورد زیر نگاشت می‌کند:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

سطوح تفکر غیر از off، ‏enable_thinking: true را ارسال می‌کنند. اگر نقطه پایانی شما در عوض پرچم‌های سطح‌بالای به‌سبک DashScope را انتظار دارد، از compat.thinkingFormat: "qwen" استفاده کنید تا enable_thinking در ریشه درخواست ارسال شود.

برای مدل‌های vllm/nemotron-3-* که تفکر در آن‌ها خاموش است، Plugin همراه مورد زیر را ارسال می‌کند:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

برای سفارشی‌سازی این مقادیر، chat_template_kwargs را زیر پارامترهای مدل تنظیم کنید. اگر params.extra_body.chat_template_kwargs را نیز تنظیم کنید، آن مقدار اولویت دارد، زیرا extra_body آخرین بازنویسی بدنه درخواست است.

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

ابتدا تأیید کنید که vLLM با تجزیه‌گر فراخوانی ابزار و قالب چت مناسب مدل راه‌اندازی شده است. مستندات vLLM، ‏hermes را برای مدل‌های Qwen2.5 و qwen3_xml را برای مدل‌های Qwen3-Coder ذکر می‌کند.

نشانه‌ها: Skills/ابزارها هرگز اجرا نمی‌شوند، دستیار JSON/XML خامی مانند {"name":"read","arguments":...} را چاپ می‌کند، یا وقتی OpenClaw ‏tool_choice: "auto" را ارسال می‌کند، vLLM یک آرایه خالی tool_calls برمی‌گرداند.

برخی ترکیب‌های Qwen/vLLM فقط زمانی فراخوانی ابزار ساخت‌یافته برمی‌گردانند که درخواست از tool_choice: "required" استفاده کند. با params.extra_body آن را برای هر مدل اجباری کنید:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

شناسه مدل را با شناسه دقیق موجود در openclaw models list --provider vllm جایگزین کنید، یا همان بازنویسی را از CLI اعمال کنید:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

این یک راهکار موقت انتخابی است: هر نوبتی را که ابزار دارد مجبور به انجام یک فراخوانی ابزار می‌کند، بنابراین فقط برای یک ورودی مدل اختصاصی که این رفتار در آن پذیرفتنی است از آن استفاده کنید. آن را به‌عنوان پیش‌فرض سراسری برای همه مدل‌های vLLM تنظیم نکنید و با پراکسی‌ای که متن دلخواه دستیار را به فراخوانی ابزار اجرایی تبدیل می‌کند جفت نکنید.

اگر سرور vLLM روی میزبان یا درگاه غیراستاندارد اجرا می‌شود، baseUrl را در پیکربندی صریح ارائه‌دهنده تنظیم کنید:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "مدل راه‌دور vLLM",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

برای مدل‌های محلی بزرگ، میزبان‌های LAN راه‌دور یا پیوندهای tailnet، مهلت زمانی درخواست را در محدوده ارائه‌دهنده تنظیم کنید:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "مدل محلی vLLM" }],      },    },  },}

timeoutSeconds فقط بر درخواست‌های HTTP مدل vLLM اعمال می‌شود: برقراری اتصال، سرآیندهای پاسخ، استریم بدنه و لغو کلی واکشی محافظت‌شده. همچنین سقف زمان‌سنج نظارتی بی‌کاری/استریم LLM را برای این ارائه‌دهنده از مقدار پیش‌فرض ضمنی حدود ~120s بالاتر می‌برد. این روش را به افزایش agents.defaults.timeoutSeconds ترجیح دهید؛ مورد دوم کل اجرای عامل را کنترل می‌کند.

بررسی کنید که سرور vLLM در حال اجرا و قابل‌دسترسی باشد:

curl http://127.0.0.1:8000/v1/models

اگر خطای اتصال مشاهده می‌کنید، میزبان، درگاه و راه‌اندازی vLLM در حالت سرور سازگار با OpenAI را بررسی کنید. OpenClaw برای درخواست‌های محافظت‌شده مدل در نقطه‌های پایانی loopback، ‏LAN و Tailscale دقیقاً به مبدأ پیکربندی‌شده models.providers.vllm.baseUrl اعتماد می‌کند. مبدأهای فراداده/link-local بدون اعلام موافقت صریح همچنان مسدود می‌مانند. فقط زمانی models.providers.vllm.request.allowPrivateNetwork: true را تنظیم کنید که درخواست‌های vLLM باید به مبدأ خصوصی دیگری برسند، یا برای انصراف از اعتماد به مبدأ دقیق، false را تنظیم کنید.

اگر درخواست‌ها با خطاهای احراز هویت ناموفق می‌شوند، یک VLLM_API_KEY واقعی و منطبق با پیکربندی سرور تنظیم کنید، یا ارائه‌دهنده را صریحاً زیر models.providers.vllm پیکربندی کنید.

شناسایی خودکار نیازمند تنظیم VLLM_API_KEY است. اگر models.providers.vllm را تعریف کرده باشید، OpenClaw فقط از مدل‌های اعلام‌شده شما استفاده می‌کند، مگر اینکه agents.defaults.models شامل "vllm/*": {} باشد.

اگر یک مدل Qwen به‌جای اجرای یک Skill، نحو ابزار JSON/XML را چاپ می‌کند:

• ‏vLLM را با تجزیه‌گر/قالب صحیح آن مدل راه‌اندازی کنید.
• شناسه دقیق مدل را با openclaw models list --provider vllm تأیید کنید.
• فقط اگر tool_choice: "auto" همچنان فراخوانی‌های ابزار خالی یا صرفاً متنی برمی‌گرداند، یک بازنویسی اختصاصی params.extra_body.tool_choice: "required" برای هر مدل اضافه کنید.