NVIDIA
NVIDIA fournit une API compatible OpenAI àhttps://integrate.api.nvidia.com/v1 pour les modèles Nemotron et NeMo. Authentifiez-vous avec une clé API depuis NVIDIA NGC.
Configuration CLI
Exportez la clé une fois, puis exécutez l’intégration guidée et définissez un modèle NVIDIA :--token, rappelez-vous qu’il atterrit dans l’historique du shell et dans la sortie de ps ; préférez la variable d’environnement quand c’est possible.
Extrait de configuration
Identifiants de modèle
| Référence de modèle | Nom | Contexte | Sortie max |
|---|---|---|---|
nvidia/nvidia/llama-3.1-nemotron-70b-instruct | NVIDIA Llama 3.1 Nemotron 70B Instruct | 131,072 | 4,096 |
nvidia/meta/llama-3.3-70b-instruct | Meta Llama 3.3 70B Instruct | 131,072 | 4,096 |
nvidia/nvidia/mistral-nemo-minitron-8b-8k-instruct | NVIDIA Mistral NeMo Minitron 8B Instruct | 8,192 | 2,048 |
Remarques
- Point de terminaison
/v1compatible OpenAI ; utilisez une clé API depuis NVIDIA NGC. - Le fournisseur s’active automatiquement lorsque
NVIDIA_API_KEYest défini. - Le catalogue intégré est statique ; les coûts sont à
0par défaut dans la source.