NVIDIA
NVIDIA udostępnia zgodne z OpenAI API pod adresemhttps://integrate.api.nvidia.com/v1 dla modeli Nemotron i NeMo. Uwierzytelnianie odbywa się przez klucz API z NVIDIA NGC.
Konfiguracja CLI
Wyeksportuj klucz raz, a następnie uruchom onboarding i ustaw model NVIDIA:--token, pamiętaj, że trafia on do historii powłoki i wyjścia ps; jeśli to możliwe, preferuj zmienną env.
Fragment config
Identyfikatory modeli
| Model ref | Name | Context | Max output |
|---|---|---|---|
nvidia/nvidia/llama-3.1-nemotron-70b-instruct | NVIDIA Llama 3.1 Nemotron 70B Instruct | 131,072 | 4,096 |
nvidia/meta/llama-3.3-70b-instruct | Meta Llama 3.3 70B Instruct | 131,072 | 4,096 |
nvidia/nvidia/mistral-nemo-minitron-8b-8k-instruct | NVIDIA Mistral NeMo Minitron 8B Instruct | 8,192 | 2,048 |
Uwagi
- Endpoint
/v1zgodny z OpenAI; użyj klucza API z NVIDIA NGC. - Provider włącza się automatycznie, gdy ustawiono
NVIDIA_API_KEY. - Dołączony katalog jest statyczny; koszty domyślnie mają wartość
0w źródłach.