NVIDIA
NVIDIA fornisce un’API compatibile con OpenAI suhttps://integrate.api.nvidia.com/v1 per i modelli Nemotron e NeMo. Autenticati con una chiave API da NVIDIA NGC.
Configurazione CLI
Esporta la chiave una volta, poi esegui l’onboarding e imposta un modello NVIDIA:--token, ricorda che finisce nella cronologia della shell e nell’output di ps; quando possibile preferisci la variabile env.
Frammento di config
ID modello
| Model ref | Nome | Contesto | Output massimo |
|---|---|---|---|
nvidia/nvidia/llama-3.1-nemotron-70b-instruct | NVIDIA Llama 3.1 Nemotron 70B Instruct | 131,072 | 4,096 |
nvidia/meta/llama-3.3-70b-instruct | Meta Llama 3.3 70B Instruct | 131,072 | 4,096 |
nvidia/nvidia/mistral-nemo-minitron-8b-8k-instruct | NVIDIA Mistral NeMo Minitron 8B Instruct | 8,192 | 2,048 |
Note
- Endpoint
/v1compatibile con OpenAI; usa una chiave API da NVIDIA NGC. - Il provider si abilita automaticamente quando è impostato
NVIDIA_API_KEY. - Il catalogo bundled è statico; i costi nel sorgente sono impostati per impostazione predefinita a
0.