vLLM

vLLM se trata como un backend /v1 compatible con OpenAI de estilo proxy, no como un endpoint nativo de OpenAI. Esto significa:

Para modelos Qwen servidos mediante vLLM, configura compat.thinkingFormat: "qwen-chat-template" en la fila del modelo del proveedor configurado cuando el servidor espere kwargs de plantilla de chat de Qwen. Los modelos configurados de esta forma exponen un perfil binario /think (off, on) porque el pensamiento de la plantilla de Qwen es una marca de solicitud activado/desactivado, no una escala de esfuerzo al estilo OpenAI.

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

OpenClaw asigna /think off a:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

Los niveles de pensamiento distintos de off envían enable_thinking: true. Si tu endpoint espera en cambio marcas de nivel superior al estilo DashScope, usa compat.thinkingFormat: "qwen" para enviar enable_thinking en la raíz de la solicitud.

vLLM/Nemotron 3 puede usar kwargs de plantilla de chat para controlar si el razonamiento se devuelve como razonamiento oculto o como texto de respuesta visible. Cuando una sesión de OpenClaw usa vllm/nemotron-3-* con el pensamiento desactivado, el Plugin vLLM incluido envía:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

Para personalizar estos valores, configura chat_template_kwargs bajo los parámetros del modelo. Si también configuras params.extra_body.chat_template_kwargs, ese valor tiene precedencia final porque extra_body es la última sobrescritura del cuerpo de la solicitud.

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

Primero asegúrate de que vLLM se haya iniciado con el analizador de llamadas a herramientas y la plantilla de chat correctos para el modelo. Por ejemplo, vLLM documenta hermes para modelos Qwen2.5 y qwen3_xml para modelos Qwen3-Coder.

Síntomas:

• Skills o herramientas nunca se ejecutan
• el asistente imprime JSON/XML sin procesar como {"name":"read","arguments":...}
• vLLM devuelve un arreglo tool_calls vacío cuando OpenClaw envía tool_choice: "auto"

Algunas combinaciones de Qwen/vLLM devuelven llamadas a herramientas estructuradas solo cuando la solicitud usa tool_choice: "required". Para esas entradas de modelo, fuerza el campo de solicitud compatible con OpenAI con params.extra_body:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

Sustituye Qwen-Qwen2.5-Coder-32B-Instruct por el ID exacto devuelto por:

openclaw models list --provider vllm

Puedes aplicar la misma sobrescritura desde la CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Esta es una solución alternativa de compatibilidad opt-in. Hace que cada turno de modelo con herramientas requiera una llamada a herramienta, así que úsala solo para una entrada de modelo local dedicada donde ese comportamiento sea aceptable. No la uses como valor predeterminado global para todos los modelos vLLM, y no uses un proxy que convierta a ciegas texto arbitrario del asistente en llamadas a herramientas ejecutables.

Si tu servidor vLLM se ejecuta en un host o puerto no predeterminado, configura baseUrl en la configuración explícita del proveedor:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

Para modelos locales grandes, hosts de LAN remotos o enlaces de tailnet, configura un timeout de solicitud con alcance de proveedor:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds se aplica solo a las solicitudes HTTP de modelos vLLM, incluidos la configuración de conexión, los encabezados de respuesta, el streaming del cuerpo y la cancelación total de guarded-fetch. Prefiere esto antes de aumentar agents.defaults.timeoutSeconds, que controla toda la ejecución del agente.

Comprueba que el servidor vLLM esté en ejecución y sea accesible:

curl http://127.0.0.1:8000/v1/models

Si ves un error de conexión, verifica el host, el puerto y que vLLM se haya iniciado con el modo de servidor compatible con OpenAI. Para endpoints explícitos de loopback, LAN o Tailscale, OpenClaw confía en el origen exacto configurado en models.providers.vllm.baseUrl para solicitudes de modelo protegidas. Los orígenes de metadatos/link-local siguen bloqueados sin activación explícita. Configura models.providers.vllm.request.allowPrivateNetwork: true solo cuando las solicitudes de vLLM deban llegar a otro origen privado, y configúralo en false para optar por salir de la confianza en el origen exacto.

Si las solicitudes fallan con errores de autenticación, configura una VLLM_API_KEY real que coincida con la configuración de tu servidor, o configura el proveedor explícitamente bajo models.providers.vllm.

El descubrimiento automático requiere que VLLM_API_KEY esté configurada. Si has definido models.providers.vllm, OpenClaw usa solo tus modelos declarados a menos que agents.defaults.models incluya "vllm/*": {}.

Si un modelo Qwen imprime sintaxis de herramientas JSON/XML en lugar de ejecutar una skill, revisa la guía de Qwen en la Configuración avanzada anterior. La solución habitual es:

• iniciar vLLM con el analizador/plantilla correctos para ese modelo
• confirmar el ID exacto del modelo con openclaw models list --provider vllm
• añadir una sobrescritura dedicada por modelo params.extra_body.tool_choice: "required" solo si tool_choice: "auto" todavía devuelve llamadas a herramientas vacías o solo texto