NVIDIA
NVIDIA proporciona una API compatible con OpenAI enhttps://integrate.api.nvidia.com/v1 para modelos Nemotron y NeMo. Autentícate con una clave de API de NVIDIA NGC.
Configuración de la CLI
Exporta la clave una vez, luego ejecuta el onboarding y establece un modelo de NVIDIA:--token, recuerda que termina en el historial del shell y en la salida de ps; prefiere la variable de entorno cuando sea posible.
Fragmento de configuración
IDs de modelo
| Referencia de modelo | Nombre | Contexto | Salida máxima |
|---|---|---|---|
nvidia/nvidia/llama-3.1-nemotron-70b-instruct | NVIDIA Llama 3.1 Nemotron 70B Instruct | 131,072 | 4,096 |
nvidia/meta/llama-3.3-70b-instruct | Meta Llama 3.3 70B Instruct | 131,072 | 4,096 |
nvidia/nvidia/mistral-nemo-minitron-8b-8k-instruct | NVIDIA Mistral NeMo Minitron 8B Instruct | 8,192 | 2,048 |
Notas
- Endpoint
/v1compatible con OpenAI; usa una clave de API de NVIDIA NGC. - El proveedor se habilita automáticamente cuando
NVIDIA_API_KEYestá configurada. - El catálogo integrado es estático; los costos están predeterminados a
0en el código fuente.