Ana içeriğe atla

​
vLLM

vLLM, OpenAI uyumlu bir HTTP API üzerinden açık kaynaklı (ve bazı özel) modelleri sunabilir. OpenClaw, vLLM’e openai-completions API’sini kullanarak bağlanır. OpenClaw ayrıca, VLLM_API_KEY ile açıkça etkinleştirdiğinizde (sunucunuz kimlik doğrulamayı zorlamıyorsa herhangi bir değer çalışır) ve açık bir models.providers.vllm girdisi tanımlamadığınızda, vLLM’den kullanılabilir modelleri otomatik keşfedebilir.
ÖzellikDeğer
Sağlayıcı ID’sivllm
APIopenai-completions (OpenAI uyumlu)
Kimlik doğrulamaVLLM_API_KEY ortam değişkeni
Varsayılan taban URLhttp://127.0.0.1:8000/v1

​
Başlangıç

1

OpenAI uyumlu bir sunucuyla vLLM'i başlatın

Taban URL’niz /v1 uç noktalarını sunmalıdır (ör. /v1/models, /v1/chat/completions). vLLM yaygın olarak şu adreste çalışır:
http://127.0.0.1:8000/v1
2

API anahtarı ortam değişkenini ayarlayın

Sunucunuz kimlik doğrulamayı zorlamıyorsa herhangi bir değer çalışır:
export VLLM_API_KEY="vllm-local"
3

Bir model seçin

Bunu vLLM model kimliklerinizden biriyle değiştirin:
{
  agents: {
    defaults: {
      model: { primary: "vllm/your-model-id" },
    },
  },
}
4

Modelin kullanılabilir olduğunu doğrulayın

openclaw models list --provider vllm

​
Model keşfi (örtük sağlayıcı)

VLLM_API_KEY ayarlandığında (veya bir kimlik doğrulama profili mevcut olduğunda) ve models.providers.vllm tanımlamadığınızda, OpenClaw şu isteği sorgular: 
GET http://127.0.0.1:8000/v1/models
ve dönen kimlikleri model girdilerine dönüştürür.
models.providers.vllm değerini açıkça ayarlarsanız otomatik keşif atlanır ve modelleri elle tanımlamanız gerekir.

​
Açık yapılandırma (manuel modeller)

Şu durumlarda açık yapılandırma kullanın:
  • vLLM farklı bir ana makinede veya bağlantı noktasında çalışıyorsa
  • contextWindow veya maxTokens değerlerini sabitlemek istiyorsanız
  • Sunucunuz gerçek bir API anahtarı gerektiriyorsa (veya üst bilgileri kontrol etmek istiyorsanız)
{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://127.0.0.1:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Yerel vLLM Modeli",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

​
Gelişmiş notlar

vLLM, yerel bir OpenAI uç noktası olarak değil, proxy tarzı OpenAI uyumlu bir /v1 backend’i olarak ele alınır. Bu şu anlama gelir:
DavranışUygulanır mı?
Yerel OpenAI istek şekillendirmesiHayır
service_tierGönderilmez
Responses storeGönderilmez
İstem önbelleği ipuçlarıGönderilmez
OpenAI reasoning-compat yük şekillendirmesiUygulanmaz
Gizli OpenClaw ilişkilendirme üst bilgileriÖzel taban URL’lerde eklenmez
vLLM sunucunuz varsayılan olmayan bir ana makinede veya bağlantı noktasında çalışıyorsa, açık sağlayıcı yapılandırmasında baseUrl ayarlayın:
{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:9000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "my-custom-model",
            name: "Uzak vLLM Modeli",
            reasoning: false,
            input: ["text"],
            contextWindow: 64000,
            maxTokens: 4096,
          },
        ],
      },
    },
  },
}

​
Sorun giderme

vLLM sunucusunun çalıştığını ve erişilebilir olduğunu denetleyin:
curl http://127.0.0.1:8000/v1/models
Bağlantı hatası görürseniz ana makineyi, bağlantı noktasını ve vLLM’in OpenAI uyumlu sunucu kipinde başlatıldığını doğrulayın.
İstekler kimlik doğrulama hatalarıyla başarısız oluyorsa, sunucu yapılandırmanızla eşleşen gerçek bir VLLM_API_KEY ayarlayın veya sağlayıcıyı models.providers.vllm altında açıkça yapılandırın.
vLLM sunucunuz kimlik doğrulamayı zorlamıyorsa, VLLM_API_KEY için boş olmayan herhangi bir değer OpenClaw için açık etkinleştirme sinyali olarak çalışır.
Otomatik keşif için VLLM_API_KEY ayarlanmış olmalı ve açık bir models.providers.vllm yapılandırma girdisi bulunmamalıdır. Sağlayıcıyı elle tanımladıysanız OpenClaw keşfi atlar ve yalnızca bildirdiğiniz modelleri kullanır.
Daha fazla yardım: Sorun giderme ve SSS.

​
İlgili

Model seçimi

Sağlayıcıları, model başvurularını ve yük devretme davranışını seçme.

OpenAI

Yerel OpenAI sağlayıcısı ve OpenAI uyumlu yol davranışı.

OAuth ve kimlik doğrulama

Kimlik doğrulama ayrıntıları ve kimlik bilgisi yeniden kullanım kuralları.

Sorun giderme

Yaygın sorunlar ve bunların nasıl çözüleceği.