​

vLLM

​

البدء السريع

1. ابدأ تشغيل vLLM باستخدام خادم متوافق مع OpenAI.

• http://127.0.0.1:8000/v1

2. اشترك في الميزة (أي قيمة تعمل إذا لم يتم تكوين مصادقة):

export VLLM_API_KEY="vllm-local"

3. اختر نموذجًا (استبدله بأحد معرّفات نماذج vLLM لديك):

{
  agents: {
    defaults: {
      model: { primary: "vllm/your-model-id" },
    },
  },
}

​

اكتشاف النموذج (مزوّد ضمني)

• GET http://127.0.0.1:8000/v1/models

​

التكوين الصريح (نماذج يدوية)

• يعمل vLLM على مضيف/منفذ مختلف.
• تريد تثبيت قيم contextWindow/maxTokens.
• يتطلب خادمك مفتاح API حقيقيًا (أو تريد التحكم في الرؤوس).

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://127.0.0.1:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local vLLM Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

​

استكشاف الأخطاء وإصلاحها

• تحقق من إمكانية الوصول إلى الخادم:

curl http://127.0.0.1:8000/v1/models

• إذا فشلت الطلبات بسبب أخطاء مصادقة، فعيّن VLLM_API_KEY حقيقيًا يطابق تكوين خادمك، أو قم بتكوين المزوّد صراحةً تحت models.providers.vllm.

​

سلوك شبيه بالـ proxy

• لا ينطبق هنا تشكيل الطلبات الخاص بـ OpenAI الأصلية فقط
• لا يوجد service_tier، ولا store الخاصة بـ Responses، ولا تلميحات ذاكرة التخزين المؤقت للمطالبات، ولا تشكيل حمولات reasoning-compat الخاصة بـ OpenAI
• لا يتم حقن رؤوس الإسناد المخفية الخاصة بـ OpenClaw ‏(originator وversion وUser-Agent) على عناوين URL الأساسية المخصصة لـ vLLM