Перейти до основного вмісту

Documentation Index

Fetch the complete documentation index at: https://docs.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

SGLang обслуговує моделі з відкритими вагами через HTTP API, сумісний з OpenAI. OpenClaw підключається до SGLang за допомогою сімейства провайдерів openai-completions з автоматичним виявленням доступних моделей.
ВластивістьЗначення
Ідентифікатор провайдераsglang
Pluginвбудований, enabledByDefault: true
Змінна середовища автентифікаціїSGLANG_API_KEY (будь-яке непорожнє значення, якщо сервер не має автентифікації)
Прапорець початкового налаштування--auth-choice sglang
APIсумісний з OpenAI (openai-completions)
Базова URL-адреса за замовчуваннямhttp://127.0.0.1:30000/v1
Заповнювач моделі за замовчуваннямsglang/Qwen/Qwen3-8B
Використання потокової передачіТак (supportsStreamingUsage: true)
ЦіноутворенняПозначено як зовнішньо безкоштовне (modelPricing.external: false)
OpenClaw також автоматично виявляє доступні моделі з SGLang, коли ви вмикаєте це за допомогою SGLANG_API_KEY. Використовуйте sglang/* у agents.defaults.models, щоб зберегти динамічне виявлення, коли ви також налаштовуєте власну базову URL-адресу SGLang. Див. Виявлення моделей (неявний провайдер) нижче.

​
Початок роботи

1

Запустіть SGLang

Запустіть SGLang із сервером, сумісним з OpenAI. Ваша базова URL-адреса має надавати кінцеві точки /v1 (наприклад, /v1/models, /v1/chat/completions). SGLang зазвичай працює на:
  • http://127.0.0.1:30000/v1
2

Установіть API-ключ

Підійде будь-яке значення, якщо на вашому сервері не налаштовано автентифікацію:
export SGLANG_API_KEY="sglang-local"
3

Запустіть початкове налаштування або задайте модель напряму

openclaw onboard
Або налаштуйте модель вручну:
{
  agents: {
    defaults: {
      model: { primary: "sglang/your-model-id" },
    },
  },
}

​
Виявлення моделей (неявний провайдер)

Коли встановлено SGLANG_API_KEY (або існує профіль автентифікації), і ви не визначаєте models.providers.sglang, OpenClaw виконає запит:
  • GET http://127.0.0.1:30000/v1/models
і перетворить повернуті ідентифікатори на записи моделей.
Якщо ви явно задаєте models.providers.sglang, OpenClaw за замовчуванням використовує оголошені вами моделі. Додайте "sglang/*": {} до agents.defaults.models, коли хочете, щоб OpenClaw звертався до кінцевої точки /models цього налаштованого провайдера та включав усі оголошені моделі SGLang.

​
Явна конфігурація (моделі вручну)

Використовуйте явну конфігурацію, коли:
  • SGLang працює на іншому хості або порту.
  • Ви хочете закріпити значення contextWindow/maxTokens.
  • Ваш сервер потребує справжнього API-ключа (або ви хочете керувати заголовками).
{
  models: {
    providers: {
      sglang: {
        baseUrl: "http://127.0.0.1:30000/v1",
        apiKey: "${SGLANG_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local SGLang Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

​
Розширена конфігурація

SGLang розглядається як проксі-бекенд /v1, сумісний з OpenAI, а не як нативна кінцева точка OpenAI.
ПоведінкаSGLang
Формування запитів лише для OpenAIНе застосовується
service_tier, Responses store, підказки кешу промптівНе надсилаються
Формування корисного навантаження для сумісності reasoningНе застосовується
Приховані заголовки атрибуції (originator, version, User-Agent)Не вставляються для власних базових URL-адрес SGLang
Сервер недоступнийПереконайтеся, що сервер запущений і відповідає:
curl http://127.0.0.1:30000/v1/models
Помилки автентифікаціїЯкщо запити завершуються помилками автентифікації, установіть справжній SGLANG_API_KEY, який відповідає конфігурації вашого сервера, або явно налаштуйте провайдера в models.providers.sglang.
Якщо ви запускаєте SGLang без автентифікації, будь-якого непорожнього значення для SGLANG_API_KEY достатньо, щоб увімкнути виявлення моделей.

​
Пов’язане

Вибір моделі

Вибір провайдерів, посилань на моделі та поведінки перемикання після збою.

Довідник конфігурації

Повна схема конфігурації, включно із записами провайдерів.