vLLM

vLLM wird als proxyartiges OpenAI-kompatibles /v1-Backend behandelt, nicht als nativer OpenAI-Endpunkt. Das bedeutet:

Legen Sie für Qwen-Modelle, die über vLLM bereitgestellt werden, compat.thinkingFormat: "qwen-chat-template" in der konfigurierten Provider- Modellzeile fest, wenn der Server Qwen-Chat-Template-kwargs erwartet. Auf diese Weise konfigurierte Modelle stellen ein binäres /think-Profil (off, on) bereit, weil Qwen-Template-Thinking ein Ein/Aus-Anfrageflag ist und keine OpenAI-artige Aufwandsleiter.

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

OpenClaw ordnet /think off Folgendem zu:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

Nicht-off-Thinking-Stufen senden enable_thinking: true. Wenn Ihr Endpunkt stattdessen DashScope-artige Flags auf oberster Ebene erwartet, verwenden Sie compat.thinkingFormat: "qwen", um enable_thinking im Anfrage-Root zu senden.

vLLM/Nemotron 3 kann Chat-Template-kwargs verwenden, um zu steuern, ob Reasoning als verborgenes Reasoning oder sichtbarer Antworttext zurückgegeben wird. Wenn eine OpenClaw-Sitzung vllm/nemotron-3-* mit deaktiviertem Thinking verwendet, sendet das gebündelte vLLM-Plugin:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

Um diese Werte anzupassen, legen Sie chat_template_kwargs unter den Modellparametern fest. Wenn Sie zusätzlich params.extra_body.chat_template_kwargs festlegen, hat dieser Wert endgültigen Vorrang, da extra_body die letzte Überschreibung des Anfrage-Bodys ist.

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

Stellen Sie zunächst sicher, dass vLLM mit dem richtigen Tool-Call-Parser und Chat- Template für das Modell gestartet wurde. Beispielsweise dokumentiert vLLM hermes für Qwen2.5- Modelle und qwen3_xml für Qwen3-Coder-Modelle.

Symptome:

• Skills oder Tools werden nie ausgeführt
• der Assistent gibt rohes JSON/XML wie {"name":"read","arguments":...} aus
• vLLM gibt ein leeres tool_calls-Array zurück, wenn OpenClaw tool_choice: "auto" sendet

Einige Qwen/vLLM-Kombinationen geben strukturierte Tool Calls nur zurück, wenn die Anfrage tool_choice: "required" verwendet. Erzwingen Sie für diese Modelleinträge das OpenAI-kompatible Anfragefeld mit params.extra_body:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

Ersetzen Sie Qwen-Qwen2.5-Coder-32B-Instruct durch die exakte ID, die Folgendes zurückgibt:

openclaw models list --provider vllm

Sie können dieselbe Überschreibung über die CLI anwenden:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Dies ist ein explizit zu aktivierender Kompatibilitäts-Workaround. Er sorgt dafür, dass jede Modellrunde mit Tools einen Tool Call erfordert. Verwenden Sie ihn daher nur für einen dedizierten lokalen Modelleintrag, bei dem dieses Verhalten akzeptabel ist. Verwenden Sie ihn nicht als globalen Standard für alle vLLM-Modelle und verwenden Sie keinen Proxy, der beliebigen Assistententext blind in ausführbare Tool Calls umwandelt.

Wenn Ihr vLLM-Server auf einem nicht standardmäßigen Host oder Port läuft, legen Sie baseUrl in der expliziten Provider-Konfiguration fest:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

Legen Sie für große lokale Modelle, Remote-LAN-Hosts oder Tailnet-Verbindungen ein Provider-bezogenes Anfrage-Timeout fest:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds gilt nur für HTTP-Anfragen an vLLM-Modelle, einschließlich Verbindungsaufbau, Antwort-Headern, Body-Streaming und dem gesamten guarded-fetch-Abbruch. Bevorzugen Sie dies, bevor Sie agents.defaults.timeoutSeconds erhöhen, das den gesamten Agent-Lauf steuert.

Prüfen Sie, ob der vLLM-Server läuft und erreichbar ist:

curl http://127.0.0.1:8000/v1/models

Wenn Sie einen Verbindungsfehler sehen, prüfen Sie Host, Port und ob vLLM im OpenAI-kompatiblen Servermodus gestartet wurde. Für explizite loopback-, LAN- oder Tailscale-Endpunkte vertraut OpenClaw dem exakt konfigurierten Ursprung models.providers.vllm.baseUrl für geschützte Modellanfragen. Metadata-/Link-Local-Ursprünge bleiben ohne explizite Aktivierung blockiert. Setzen Sie models.providers.vllm.request.allowPrivateNetwork: true nur, wenn vLLM-Anfragen einen anderen privaten Ursprung erreichen müssen, und setzen Sie es auf false, um dem Vertrauen in den exakten Ursprung zu widersprechen.

Wenn Anfragen mit Authentifizierungsfehlern fehlschlagen, legen Sie einen echten VLLM_API_KEY fest, der zu Ihrer Serverkonfiguration passt, oder konfigurieren Sie den Provider explizit unter models.providers.vllm.

Die automatische Erkennung erfordert, dass VLLM_API_KEY gesetzt ist. Wenn Sie models.providers.vllm definiert haben, verwendet OpenClaw nur Ihre deklarierten Modelle, es sei denn, agents.defaults.models enthält "vllm/*": {}.

Wenn ein Qwen-Modell JSON/XML-Tool-Syntax ausgibt, statt einen Skill auszuführen, prüfen Sie die Qwen-Hinweise in der erweiterten Konfiguration oben. Die übliche Lösung ist:

• vLLM mit dem richtigen Parser/Template für dieses Modell starten
• die exakte Modell-ID mit openclaw models list --provider vllm bestätigen
• eine dedizierte, modellspezifische Überschreibung params.extra_body.tool_choice: "required" nur hinzufügen, wenn tool_choice: "auto" weiterhin leere oder reine Text- Tool Calls zurückgibt