Langsung ke konten utama

​
SGLang

SGLang dapat menyajikan model open-source melalui API HTTP yang kompatibel dengan OpenAI. OpenClaw dapat terhubung ke SGLang menggunakan API openai-completions. OpenClaw juga dapat menemukan otomatis model yang tersedia dari SGLang saat Anda melakukan opt-in dengan SGLANG_API_KEY (nilai apa pun berfungsi jika server Anda tidak menerapkan auth) dan Anda tidak mendefinisikan entri models.providers.sglang secara eksplisit.

​
Memulai

1

Mulai SGLang

Jalankan SGLang dengan server yang kompatibel dengan OpenAI. Base URL Anda harus mengekspos endpoint /v1 (misalnya /v1/models, /v1/chat/completions). SGLang biasanya berjalan di:
  • http://127.0.0.1:30000/v1
2

Setel API key

Nilai apa pun berfungsi jika tidak ada auth yang dikonfigurasi pada server Anda:
export SGLANG_API_KEY="sglang-local"
3

Jalankan onboarding atau setel model secara langsung

openclaw onboard
Atau konfigurasikan model secara manual:
{
  agents: {
    defaults: {
      model: { primary: "sglang/your-model-id" },
    },
  },
}

​
Penemuan model (provider implisit)

Saat SGLANG_API_KEY disetel (atau profil auth ada) dan Anda tidak mendefinisikan models.providers.sglang, OpenClaw akan mengueri:
  • GET http://127.0.0.1:30000/v1/models
dan mengubah ID yang dikembalikan menjadi entri model.
Jika Anda menyetel models.providers.sglang secara eksplisit, penemuan otomatis dilewati dan Anda harus mendefinisikan model secara manual.

​
Konfigurasi eksplisit (model manual)

Gunakan konfigurasi eksplisit ketika:
  • SGLang berjalan di host/port yang berbeda.
  • Anda ingin mem-pin nilai contextWindow/maxTokens.
  • Server Anda memerlukan API key sungguhan (atau Anda ingin mengontrol header).
{
  models: {
    providers: {
      sglang: {
        baseUrl: "http://127.0.0.1:30000/v1",
        apiKey: "${SGLANG_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Model SGLang Lokal",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

​
Konfigurasi lanjutan

SGLang diperlakukan sebagai backend /v1 bergaya proxy yang kompatibel dengan OpenAI, bukan endpoint OpenAI native.
BehaviorSGLang
Pembentukan permintaan khusus OpenAITidak diterapkan
service_tier, Responses store, petunjuk prompt-cacheTidak dikirim
Pembentukan payload kompatibilitas reasoningTidak diterapkan
Header atribusi tersembunyi (originator, version, User-Agent)Tidak disuntikkan pada base URL SGLang kustom
Server tidak dapat dijangkauVerifikasi bahwa server berjalan dan merespons:
curl http://127.0.0.1:30000/v1/models
Error authJika permintaan gagal dengan error auth, setel SGLANG_API_KEY sungguhan yang sesuai dengan konfigurasi server Anda, atau konfigurasikan provider secara eksplisit di bawah models.providers.sglang.
Jika Anda menjalankan SGLang tanpa autentikasi, nilai apa pun yang tidak kosong untuk SGLANG_API_KEY sudah cukup untuk melakukan opt-in ke penemuan model.

​
Terkait

Pemilihan model

Memilih provider, ref model, dan perilaku failover.

Referensi konfigurasi

Skema konfigurasi lengkap termasuk entri provider.