vLLM

vLLM wordt behandeld als een proxyachtige, OpenAI-compatibele /v1-backend, niet als een native OpenAI-eindpunt:

Stel voor Qwen-modellen compat.thinkingFormat: "qwen-chat-template" in op de modelrij wanneer de server kwargs voor de Qwen-chatsjabloon verwacht. Deze modellen bieden een binair /think-profiel (off, on), omdat denken via de Qwen-chatsjabloon een aan/uit-vlag is en geen inspanningsladder zoals bij OpenAI.

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

OpenClaw wijst /think off toe aan:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

Denkmodi anders dan off verzenden enable_thinking: true. Als je eindpunt in plaats daarvan vlaggen op het hoogste niveau in DashScope-stijl verwacht, gebruik je compat.thinkingFormat: "qwen" om enable_thinking in de hoofdstructuur van de aanvraag te verzenden.

Voor vllm/nemotron-3-*-modellen waarvoor denken is uitgeschakeld, verzendt de gebundelde Plugin:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

Stel chat_template_kwargs in onder de modelparameters om deze waarden aan te passen. Als je ook params.extra_body.chat_template_kwargs instelt, krijgt die waarde voorrang, omdat extra_body de laatste overschrijving van de aanvraagbody is.

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

Controleer eerst of vLLM is gestart met de juiste parser voor toolaanroepen en de juiste chatsjabloon voor het model. vLLM documenteert hermes voor Qwen2.5-modellen en qwen3_xml voor Qwen3-Coder-modellen.

Symptomen: skills/tools worden nooit uitgevoerd, de assistent geeft onbewerkte JSON/XML weer, zoals {"name":"read","arguments":...}, of vLLM retourneert een lege tool_calls-array wanneer OpenClaw tool_choice: "auto" verzendt.

Sommige combinaties van Qwen en vLLM retourneren alleen gestructureerde toolaanroepen wanneer de aanvraag tool_choice: "required" gebruikt. Dwing dit per model af met params.extra_body:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

Vervang het model-ID door het exacte ID uit openclaw models list --provider vllm of pas dezelfde overschrijving toe via de CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Dit is een optionele tijdelijke oplossing: elke beurt met tools wordt hierdoor gedwongen een toolaanroep te doen. Gebruik dit dus alleen voor een afzonderlijke modelvermelding waarbij dit acceptabel is. Stel dit niet in als algemene standaardwaarde voor alle vLLM-modellen en combineer het niet met een proxy die willekeurige assistenttekst omzet in uitvoerbare toolaanroepen.

Als je vLLM-server op een niet-standaardhost of -poort draait, stel je baseUrl in de expliciete providerconfiguratie in:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Extern vLLM-model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

Stel voor grote lokale modellen, externe LAN-hosts of tailnetverbindingen een time-out voor aanvragen op providerniveau in:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Lokaal vLLM-model" }],      },    },  },}

timeoutSeconds is alleen van toepassing op HTTP-aanvragen voor vLLM-modellen: het opzetten van de verbinding, antwoordheaders, het streamen van de body en de totale afbreking van de beveiligde fetch. Dit verhoogt ook de maximale LLM-inactiviteits-/streamwatchdogtijd tot boven de impliciete standaardwaarde van ~120s voor deze provider. Geef hieraan de voorkeur boven het verhogen van agents.defaults.timeoutSeconds, dat de volledige agentuitvoering regelt.

Controleer of de vLLM-server actief en toegankelijk is:

curl http://127.0.0.1:8000/v1/models

Als je een verbindingsfout ziet, controleer dan de host en poort en of vLLM in de OpenAI-compatibele servermodus is gestart. OpenClaw vertrouwt voor beveiligde modelaanvragen op loopback-, LAN- en Tailscale-eindpunten de exact geconfigureerde models.providers.vllm.baseUrl-oorsprong. Metadata- en link-local-oorsprongen blijven zonder expliciete inschakeling geblokkeerd. Stel models.providers.vllm.request.allowPrivateNetwork: true alleen in wanneer vLLM-aanvragen een andere privé-oorsprong moeten bereiken, of false om het vertrouwen van de exacte oorsprong uit te schakelen.

Als aanvragen mislukken met authenticatiefouten, stel je een echte VLLM_API_KEY in die overeenkomt met je serverconfiguratie of configureer je de provider expliciet onder models.providers.vllm.

Voor automatische detectie moet VLLM_API_KEY zijn ingesteld. Als je models.providers.vllm hebt gedefinieerd, gebruikt OpenClaw alleen de modellen die je hebt gedeclareerd, tenzij agents.defaults.models ook "vllm/*": {} bevat.

Als een Qwen-model JSON/XML-toolsyntaxis weergeeft in plaats van een skill uit te voeren:

• Start vLLM met de juiste parser/sjabloon voor dat model.
• Controleer het exacte model-ID met openclaw models list --provider vllm.
• Voeg alleen een afzonderlijke params.extra_body.tool_choice: "required"-overschrijving per model toe als tool_choice: "auto" nog steeds lege toolaanroepen of toolaanroepen met alleen tekst retourneert.