vLLM

O vLLM é tratado como um backend /v1 compatível com OpenAI em estilo de proxy, não como um endpoint OpenAI nativo. Isso significa:

Para modelos Qwen servidos pelo vLLM, defina compat.thinkingFormat: "qwen-chat-template" na linha de modelo do provedor configurado quando o servidor espera kwargs de template de chat do Qwen. Modelos configurados dessa forma expõem um perfil binário /think (off, on) porque o thinking por template do Qwen é uma flag de requisição liga/desliga, não uma escala de esforço em estilo OpenAI.

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

O OpenClaw mapeia /think off para:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

Níveis de thinking diferentes de off enviam enable_thinking: true. Se o seu endpoint espera flags de nível superior no estilo DashScope, use compat.thinkingFormat: "qwen" para enviar enable_thinking na raiz da requisição.

vLLM/Nemotron 3 pode usar kwargs de template de chat para controlar se o raciocínio é retornado como raciocínio oculto ou texto de resposta visível. Quando uma sessão do OpenClaw usa vllm/nemotron-3-* com thinking desativado, o Plugin vLLM incluído envia:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

Para personalizar esses valores, defina chat_template_kwargs nos params do modelo. Se você também definir params.extra_body.chat_template_kwargs, esse valor tem precedência final porque extra_body é a última substituição do corpo da requisição.

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

Primeiro, garanta que o vLLM foi iniciado com o analisador de chamadas de ferramentas e o template de chat corretos para o modelo. Por exemplo, a documentação do vLLM indica hermes para modelos Qwen2.5 e qwen3_xml para modelos Qwen3-Coder.

Sintomas:

• skills ou ferramentas nunca são executadas
• o assistente imprime JSON/XML bruto, como {"name":"read","arguments":...}
• o vLLM retorna um array tool_calls vazio quando o OpenClaw envia tool_choice: "auto"

Algumas combinações de Qwen/vLLM retornam chamadas de ferramentas estruturadas somente quando a requisição usa tool_choice: "required". Para essas entradas de modelo, force o campo de requisição compatível com OpenAI com params.extra_body:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

Substitua Qwen-Qwen2.5-Coder-32B-Instruct pelo ID exato retornado por:

openclaw models list --provider vllm

Você pode aplicar a mesma substituição pela CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Esta é uma solução alternativa de compatibilidade opcional. Ela faz com que toda rodada de modelo com ferramentas exija uma chamada de ferramenta, então use-a somente para uma entrada dedicada de modelo local em que esse comportamento seja aceitável. Não a use como padrão global para todos os modelos vLLM e não use um proxy que converta cegamente texto arbitrário do assistente em chamadas de ferramentas executáveis.

Se o seu servidor vLLM é executado em um host ou porta não padrão, defina baseUrl na configuração explícita do provedor:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

Para modelos locais grandes, hosts remotos na LAN ou links tailnet, defina um timeout de requisição no escopo do provedor:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds se aplica somente a requisições HTTP de modelo vLLM, incluindo configuração de conexão, cabeçalhos de resposta, streaming do corpo e o abort total de guarded-fetch. Prefira isso antes de aumentar agents.defaults.timeoutSeconds, que controla toda a execução do agente.

Verifique se o servidor vLLM está em execução e acessível:

curl http://127.0.0.1:8000/v1/models

Se você vir um erro de conexão, verifique o host, a porta e se o vLLM foi iniciado com o modo de servidor compatível com OpenAI. Para endpoints explícitos de loopback, LAN ou Tailscale, o OpenClaw confia na origem exata configurada em models.providers.vllm.baseUrl para requisições de modelo protegidas. Origens de metadados/link-local permanecem bloqueadas sem opt-in explícito. Defina models.providers.vllm.request.allowPrivateNetwork: true somente quando as requisições vLLM precisarem alcançar outra origem privada, e defina como false para optar por sair da confiança na origem exata.

Se as requisições falharem com erros de autenticação, defina uma VLLM_API_KEY real que corresponda à configuração do seu servidor, ou configure o provedor explicitamente em models.providers.vllm.

A descoberta automática exige que VLLM_API_KEY esteja definida. Se você definiu models.providers.vllm, o OpenClaw usa somente seus modelos declarados, a menos que agents.defaults.models inclua "vllm/*": {}.

Se um modelo Qwen imprime sintaxe de ferramenta JSON/XML em vez de executar uma skill, verifique a orientação sobre Qwen em Configuração avançada acima. A correção usual é:

• iniciar o vLLM com o analisador/template correto para esse modelo
• confirmar o ID exato do modelo com openclaw models list --provider vllm
• adicionar uma substituição dedicada por modelo params.extra_body.tool_choice: "required" somente se tool_choice: "auto" ainda retornar chamadas de ferramentas vazias ou somente texto