SGLang

SGLang, OpenAI-संगत HTTP API के माध्यम से ओपन-वेट मॉडल उपलब्ध कराता है। OpenClaw, उपलब्ध मॉडलों की स्वतः खोज के साथ openai-completions प्रोवाइडर फ़ैमिली का उपयोग करके SGLang से जुड़ता है।

जब आप SGLANG_API_KEY के साथ ऑप्ट इन करते हैं, तो OpenClaw SGLang से उपलब्ध मॉडलों की स्वतः खोज भी करता है। कस्टम SGLang बेस URL कॉन्फ़िगर करते समय खोज को डायनेमिक बनाए रखने के लिए agents.defaults.models में sglang/* का उपयोग करें। नीचे मॉडल खोज (अंतर्निहित प्रोवाइडर) देखें।

शुरू करना

export SGLANG_API_KEY="sglang-local"

openclaw onboard

{  agents: {    defaults: {      model: { primary: "sglang/your-model-id" },    },  },}

मॉडल खोज (अंतर्निहित प्रोवाइडर)

जब SGLANG_API_KEY सेट हो (या कोई प्रमाणीकरण प्रोफ़ाइल मौजूद हो) और आप models.providers.sglang को परिभाषित नहीं करते हैं, तो OpenClaw यह क्वेरी करता है:

• GET http://127.0.0.1:30000/v1/models

और लौटाई गई आईडी को मॉडल प्रविष्टियों में बदल देता है।

स्पष्ट कॉन्फ़िगरेशन (मैन्युअल मॉडल)

स्पष्ट कॉन्फ़िगरेशन का उपयोग तब करें, जब:

• SGLang किसी अलग होस्ट/पोर्ट पर चलता हो।
• आप contextWindow/maxTokens मान नियत करना चाहते हों।
• आपके सर्वर को वास्तविक API कुंजी की आवश्यकता हो (या आप हेडर नियंत्रित करना चाहते हों)।

{  models: {    providers: {      sglang: {        baseUrl: "http://127.0.0.1:30000/v1",        apiKey: "${SGLANG_API_KEY}",        api: "openai-completions",        models: [          {            id: "your-model-id",            name: "Local SGLang Model",            reasoning: false,            input: ["text"],            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },            contextWindow: 128000,            maxTokens: 8192,          },        ],      },    },  },}

उन्नत कॉन्फ़िगरेशन

curl http://127.0.0.1:30000/v1/models

संबंधित