Перейти до основного вмісту

​
vLLM

vLLM може обслуговувати open-source (і деякі кастомні) моделі через OpenAI-сумісний HTTP API. OpenClaw підключається до vLLM за допомогою API openai-completions. OpenClaw також може автоматично виявляти доступні моделі з vLLM, коли ви явно вмикаєте це за допомогою VLLM_API_KEY (підійде будь-яке значення, якщо ваш сервер не вимагає автентифікації) і не визначаєте явний запис models.providers.vllm.
ВластивістьЗначення
ID провайдераvllm
APIopenai-completions (OpenAI-сумісний)
Автентифікаціязмінна середовища VLLM_API_KEY
Базовий URL за замовчуваннямhttp://127.0.0.1:8000/v1

​
Початок роботи

1

Запустіть vLLM з OpenAI-сумісним сервером

Ваш базовий URL має надавати ендпойнти /v1 (наприклад, /v1/models, /v1/chat/completions). vLLM зазвичай працює на:
http://127.0.0.1:8000/v1
2

Установіть змінну середовища для API-ключа

Підійде будь-яке значення, якщо ваш сервер не вимагає автентифікації:
export VLLM_API_KEY="vllm-local"
3

Виберіть модель

Замініть на один із ID моделей вашого vLLM:
{
  agents: {
    defaults: {
      model: { primary: "vllm/your-model-id" },
    },
  },
}
4

Перевірте, що модель доступна

openclaw models list --provider vllm

​
Виявлення моделей (неявний провайдер)

Коли VLLM_API_KEY встановлено (або існує профіль автентифікації) і ви не визначаєте models.providers.vllm, OpenClaw виконує запит: 
GET http://127.0.0.1:8000/v1/models
і перетворює повернуті ID на записи моделей.
Якщо ви явно задаєте models.providers.vllm, автоматичне виявлення пропускається, і вам потрібно визначити моделі вручну.

​
Явна конфігурація (моделі вручну)

Використовуйте явну конфігурацію, коли:
  • vLLM працює на іншому хості або порту
  • Ви хочете зафіксувати значення contextWindow або maxTokens
  • Ваш сервер вимагає справжній API-ключ (або ви хочете керувати заголовками)
{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://127.0.0.1:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local vLLM Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

​
Додаткові примітки

vLLM розглядається як OpenAI-сумісний бекенд /v1 у стилі проксі, а не як нативний ендпойнт OpenAI. Це означає:
ПоведінкаЗастосовується?
Нативне формування запитів OpenAIНі
service_tierНе надсилається
Відповіді storeНе надсилаються
Підказки кешу промптівНе надсилаються
Формування payload для сумісності з reasoning OpenAIНе застосовується
Приховані заголовки атрибуції OpenClawНе додаються в кастомні базові URL
Якщо ваш сервер vLLM працює на нестандартному хості або порту, установіть baseUrl у явній конфігурації провайдера:
{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:9000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "my-custom-model",
            name: "Remote vLLM Model",
            reasoning: false,
            input: ["text"],
            contextWindow: 64000,
            maxTokens: 4096,
          },
        ],
      },
    },
  },
}

​
Усунення неполадок

Переконайтеся, що сервер vLLM запущений і доступний:
curl http://127.0.0.1:8000/v1/models
Якщо ви бачите помилку з’єднання, перевірте хост, порт і те, що vLLM запущено в режимі OpenAI-сумісного сервера.
Якщо запити завершуються помилками автентифікації, установіть справжній VLLM_API_KEY, який відповідає конфігурації вашого сервера, або явно налаштуйте провайдера в models.providers.vllm.
Якщо ваш сервер vLLM не вимагає автентифікації, будь-яке непорожнє значення VLLM_API_KEY працює як сигнал явного ввімкнення для OpenClaw.
Для автоматичного виявлення потрібно, щоб VLLM_API_KEY було встановлено і не було явного запису конфігурації models.providers.vllm. Якщо ви визначили провайдера вручну, OpenClaw пропускає виявлення й використовує лише оголошені вами моделі.
Більше допомоги: Усунення неполадок і FAQ.

​
Пов’язане

Вибір моделі

Вибір провайдерів, посилань на моделі та поведінки failover.

OpenAI

Нативний провайдер OpenAI і поведінка OpenAI-сумісного маршруту.

OAuth і автентифікація

Деталі автентифікації та правила повторного використання облікових даних.

Усунення неполадок

Поширені проблеми та способи їх вирішення.