NVIDIA
توفر NVIDIA واجهة API متوافقة مع OpenAI عندhttps://integrate.api.nvidia.com/v1 لنماذج Nemotron وNeMo. قم بالمصادقة باستخدام مفتاح API من NVIDIA NGC.
إعداد CLI
قم بتصدير المفتاح مرة واحدة، ثم شغّل onboarding واضبط نموذج NVIDIA:--token، فتذكر أنه سيظهر في سجل shell ومخرجات ps؛ لذا فضّل متغير البيئة عندما يكون ذلك ممكنًا.
مقتطف إعدادات
معرّفات النماذج
| مرجع النموذج | الاسم | السياق | الحد الأقصى للخرج |
|---|---|---|---|
nvidia/nvidia/llama-3.1-nemotron-70b-instruct | NVIDIA Llama 3.1 Nemotron 70B Instruct | 131,072 | 4,096 |
nvidia/meta/llama-3.3-70b-instruct | Meta Llama 3.3 70B Instruct | 131,072 | 4,096 |
nvidia/nvidia/mistral-nemo-minitron-8b-8k-instruct | NVIDIA Mistral NeMo Minitron 8B Instruct | 8,192 | 2,048 |
ملاحظات
- نقطة نهاية
/v1متوافقة مع OpenAI؛ استخدم مفتاح API من NVIDIA NGC. - يتم تمكين المزوّد تلقائيًا عند ضبط
NVIDIA_API_KEY. - يكون الفهرس المضمّن ثابتًا؛ وتكون التكاليف الافتراضية في المصدر هي
0.