Pular para o conteúdo principal

​
SGLang

O SGLang pode servir modelos open-source por meio de uma API HTTP compatível com OpenAI. O OpenClaw pode se conectar ao SGLang usando a API openai-completions. O OpenClaw também pode descobrir automaticamente modelos disponíveis no SGLang quando você opta por isso com SGLANG_API_KEY (qualquer valor funciona se o seu servidor não exigir autenticação) e você não define uma entrada explícita models.providers.sglang.

​
Primeiros passos

1

Inicie o SGLang

Inicie o SGLang com um servidor compatível com OpenAI. Sua URL base deve expor endpoints /v1 (por exemplo /v1/models, /v1/chat/completions). O SGLang normalmente é executado em:
  • http://127.0.0.1:30000/v1
2

Defina uma chave de API

Qualquer valor funciona se nenhuma autenticação estiver configurada no seu servidor:
export SGLANG_API_KEY="sglang-local"
3

Execute o onboarding ou defina um modelo diretamente

openclaw onboard
Ou configure o modelo manualmente:
{
  agents: {
    defaults: {
      model: { primary: "sglang/your-model-id" },
    },
  },
}

​
Descoberta de modelos (provider implícito)

Quando SGLANG_API_KEY está definido (ou existe um perfil de autenticação) e você não define models.providers.sglang, o OpenClaw consulta:
  • GET http://127.0.0.1:30000/v1/models
e converte os IDs retornados em entradas de modelo.
Se você definir models.providers.sglang explicitamente, a descoberta automática será ignorada e você precisará definir os modelos manualmente.

​
Configuração explícita (modelos manuais)

Use configuração explícita quando:
  • o SGLang estiver em outro host/porta.
  • você quiser fixar valores de contextWindow/maxTokens.
  • seu servidor exigir uma chave de API real (ou você quiser controlar os headers).
{
  models: {
    providers: {
      sglang: {
        baseUrl: "http://127.0.0.1:30000/v1",
        apiKey: "${SGLANG_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local SGLang Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

​
Configuração avançada

O SGLang é tratado como um backend /v1 compatível com OpenAI no estilo proxy, não como um endpoint nativo da OpenAI.
ComportamentoSGLang
Modelagem de solicitação exclusiva da OpenAINão aplicada
service_tier, store do Responses, dicas de cache de promptNão enviados
Modelagem de payload compatível com raciocínioNão aplicada
Headers ocultos de atribuição (originator, version, User-Agent)Não injetados em URLs base personalizadas do SGLang
Servidor inacessívelVerifique se o servidor está em execução e respondendo:
curl http://127.0.0.1:30000/v1/models
Erros de autenticaçãoSe as solicitações falharem com erros de autenticação, defina um SGLANG_API_KEY real que corresponda à configuração do seu servidor, ou configure o provider explicitamente em models.providers.sglang.
Se você executar o SGLang sem autenticação, qualquer valor não vazio para SGLANG_API_KEY é suficiente para optar pela descoberta de modelos.

​
Relacionados

Seleção de modelo

Escolha de providers, referências de modelo e comportamento de failover.

Referência de configuração

Schema completo de configuração, incluindo entradas de provider.