Langsung ke konten utama

​
vLLM

vLLM dapat menyajikan model open-source (dan beberapa model kustom) melalui API HTTP yang kompatibel dengan OpenAI. OpenClaw terhubung ke vLLM menggunakan API openai-completions. OpenClaw juga dapat menemukan otomatis model yang tersedia dari vLLM saat Anda melakukan opt-in dengan VLLM_API_KEY (nilai apa pun berfungsi jika server Anda tidak menerapkan auth) dan Anda tidak mendefinisikan entri models.providers.vllm secara eksplisit.
PropertyValue
ID Providervllm
APIopenai-completions (kompatibel dengan OpenAI)
AuthVariabel environment VLLM_API_KEY
Base URL defaulthttp://127.0.0.1:8000/v1

​
Memulai

1

Mulai vLLM dengan server yang kompatibel dengan OpenAI

Base URL Anda harus mengekspos endpoint /v1 (mis. /v1/models, /v1/chat/completions). vLLM umumnya berjalan di:
http://127.0.0.1:8000/v1
2

Setel variabel environment API key

Nilai apa pun berfungsi jika server Anda tidak menerapkan auth:
export VLLM_API_KEY="vllm-local"
3

Pilih model

Ganti dengan salah satu ID model vLLM Anda:
{
  agents: {
    defaults: {
      model: { primary: "vllm/your-model-id" },
    },
  },
}
4

Verifikasi model tersedia

openclaw models list --provider vllm

​
Penemuan model (provider implisit)

Saat VLLM_API_KEY disetel (atau profil auth ada) dan Anda tidak mendefinisikan models.providers.vllm, OpenClaw mengueri: 
GET http://127.0.0.1:8000/v1/models
dan mengubah ID yang dikembalikan menjadi entri model.
Jika Anda menyetel models.providers.vllm secara eksplisit, penemuan otomatis dilewati dan Anda harus mendefinisikan model secara manual.

​
Konfigurasi eksplisit (model manual)

Gunakan konfigurasi eksplisit ketika:
  • vLLM berjalan di host atau port yang berbeda
  • Anda ingin mem-pin nilai contextWindow atau maxTokens
  • Server Anda memerlukan API key sungguhan (atau Anda ingin mengontrol header)
{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://127.0.0.1:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Model vLLM Lokal",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

​
Catatan lanjutan

vLLM diperlakukan sebagai backend /v1 bergaya proxy yang kompatibel dengan OpenAI, bukan endpoint OpenAI native. Ini berarti:
BehaviorApplied?
Pembentukan permintaan OpenAI nativeTidak
service_tierTidak dikirim
Responses storeTidak dikirim
Petunjuk prompt-cacheTidak dikirim
Pembentukan payload kompatibilitas reasoning OpenAITidak diterapkan
Header atribusi OpenClaw tersembunyiTidak disuntikkan pada base URL kustom
Jika server vLLM Anda berjalan di host atau port non-default, setel baseUrl dalam konfigurasi provider eksplisit:
{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:9000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "my-custom-model",
            name: "Model vLLM Remote",
            reasoning: false,
            input: ["text"],
            contextWindow: 64000,
            maxTokens: 4096,
          },
        ],
      },
    },
  },
}

​
Pemecahan masalah

Periksa bahwa server vLLM berjalan dan dapat diakses:
curl http://127.0.0.1:8000/v1/models
Jika Anda melihat error koneksi, verifikasi host, port, dan bahwa vLLM dimulai dengan mode server yang kompatibel dengan OpenAI.
Jika permintaan gagal dengan error auth, setel VLLM_API_KEY sungguhan yang sesuai dengan konfigurasi server Anda, atau konfigurasikan provider secara eksplisit di bawah models.providers.vllm.
Jika server vLLM Anda tidak menerapkan auth, nilai apa pun yang tidak kosong untuk VLLM_API_KEY berfungsi sebagai sinyal opt-in untuk OpenClaw.
Penemuan otomatis memerlukan VLLM_API_KEY disetel dan tidak ada entri konfigurasi models.providers.vllm yang eksplisit. Jika Anda telah mendefinisikan provider secara manual, OpenClaw melewati penemuan dan hanya menggunakan model yang Anda deklarasikan.
Bantuan lebih lanjut: Pemecahan masalah dan FAQ.

​
Terkait

Pemilihan model

Memilih provider, ref model, dan perilaku failover.

OpenAI

Provider OpenAI native dan perilaku rute yang kompatibel dengan OpenAI.

OAuth dan auth

Detail auth dan aturan penggunaan ulang kredensial.

Pemecahan masalah

Masalah umum dan cara mengatasinya.