Ana içeriğe atla

Documentation Index

Fetch the complete documentation index at: https://docs.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

SGLang, açık ağırlıklı modelleri OpenAI uyumlu bir HTTP API üzerinden sunar. OpenClaw, kullanılabilir modellerin otomatik keşfiyle openai-completions sağlayıcı ailesini kullanarak SGLang’e bağlanır.
ÖzellikDeğer
Sağlayıcı kimliğisglang
Pluginpakete dahil, enabledByDefault: true
Kimlik doğrulama ortam değişkeniSGLANG_API_KEY (sunucuda kimlik doğrulama yoksa boş olmayan herhangi bir değer)
Başlangıç kurulumu bayrağı--auth-choice sglang
APIOpenAI uyumlu (openai-completions)
Varsayılan taban URL’sihttp://127.0.0.1:30000/v1
Varsayılan model yer tutucususglang/Qwen/Qwen3-8B
Akış kullanımıEvet (supportsStreamingUsage: true)
FiyatlandırmaHarici ücretsiz olarak işaretlendi (modelPricing.external: false)
OpenClaw ayrıca SGLANG_API_KEY ile katılım sağladığınızda SGLang’den kullanılabilir modelleri otomatik olarak keşfeder. Özel bir SGLang taban URL’si de yapılandırdığınızda keşfi dinamik tutmak için agents.defaults.models içinde sglang/* kullanın. Aşağıdaki Model keşfi (örtük sağlayıcı) bölümüne bakın.

​
Başlarken

1

SGLang'i başlat

SGLang’i OpenAI uyumlu bir sunucuyla başlatın. Taban URL’niz /v1 uç noktalarını göstermelidir (örneğin /v1/models, /v1/chat/completions). SGLang genellikle şurada çalışır:
  • http://127.0.0.1:30000/v1
2

Bir API anahtarı ayarla

Sunucunuzda kimlik doğrulama yapılandırılmadıysa herhangi bir değer çalışır:
export SGLANG_API_KEY="sglang-local"
3

Başlangıç kurulumunu çalıştır veya doğrudan bir model ayarla

openclaw onboard
Ya da modeli elle yapılandırın:
{
  agents: {
    defaults: {
      model: { primary: "sglang/your-model-id" },
    },
  },
}

​
Model keşfi (örtük sağlayıcı)

SGLANG_API_KEY ayarlandığında (veya bir kimlik doğrulama profili mevcut olduğunda) ve models.providers.sglang tanımlamadığınızda, OpenClaw şunu sorgular:
  • GET http://127.0.0.1:30000/v1/models
ve döndürülen kimlikleri model girdilerine dönüştürür.
models.providers.sglang açıkça ayarlanırsa, OpenClaw varsayılan olarak beyan ettiğiniz modelleri kullanır. OpenClaw’ın yapılandırılan sağlayıcının /models uç noktasını sorgulamasını ve ilan edilen tüm SGLang modellerini dahil etmesini istediğinizde agents.defaults.models içine "sglang/*": {} ekleyin.

​
Açık yapılandırma (elle modeller)

Şu durumlarda açık yapılandırma kullanın:
  • SGLang farklı bir ana makinede/bağlantı noktasında çalışıyorsa.
  • contextWindow/maxTokens değerlerini sabitlemek istiyorsanız.
  • Sunucunuz gerçek bir API anahtarı gerektiriyorsa (veya başlıkları denetlemek istiyorsanız).
{
  models: {
    providers: {
      sglang: {
        baseUrl: "http://127.0.0.1:30000/v1",
        apiKey: "${SGLANG_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local SGLang Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

​
Gelişmiş yapılandırma

SGLang, yerel bir OpenAI uç noktası değil, proxy tarzı OpenAI uyumlu bir /v1 arka ucu olarak ele alınır.
DavranışSGLang
Yalnızca OpenAI’ye özgü istek şekillendirmeUygulanmaz
service_tier, Responses store, istem önbelleği ipuçlarıGönderilmez
Akıl yürütme uyumluluğu yük şekillendirmesiUygulanmaz
Gizli ilişkilendirme başlıkları (originator, version, User-Agent)Özel SGLang taban URL’lerine enjekte edilmez
Sunucuya ulaşılamıyorSunucunun çalıştığını ve yanıt verdiğini doğrulayın:
curl http://127.0.0.1:30000/v1/models
Kimlik doğrulama hatalarıİstekler kimlik doğrulama hatalarıyla başarısız olursa, sunucu yapılandırmanızla eşleşen gerçek bir SGLANG_API_KEY ayarlayın veya sağlayıcıyı models.providers.sglang altında açıkça yapılandırın.
SGLang’i kimlik doğrulama olmadan çalıştırıyorsanız, SGLANG_API_KEY için boş olmayan herhangi bir değer model keşfine katılmak için yeterlidir.

​
İlgili

Model seçimi

Sağlayıcıları, model referanslarını ve yük devretme davranışını seçme.

Yapılandırma referansı

Sağlayıcı girdilerini içeren tam yapılandırma şeması.