NVIDIA
A NVIDIA fornece uma API compatível com OpenAI emhttps://integrate.api.nvidia.com/v1 para modelos Nemotron e NeMo. Autentique-se com uma chave de API do NVIDIA NGC.
Configuração da CLI
Exporte a chave uma vez, depois execute o onboarding e defina um modelo da NVIDIA:--token, lembre-se de que ele vai para o histórico do shell e para a saída de ps; prefira a variável de ambiente quando possível.
Trecho de configuração
IDs de modelo
| Referência do modelo | Nome | Contexto | Saída máxima |
|---|---|---|---|
nvidia/nvidia/llama-3.1-nemotron-70b-instruct | NVIDIA Llama 3.1 Nemotron 70B Instruct | 131,072 | 4,096 |
nvidia/meta/llama-3.3-70b-instruct | Meta Llama 3.3 70B Instruct | 131,072 | 4,096 |
nvidia/nvidia/mistral-nemo-minitron-8b-8k-instruct | NVIDIA Mistral NeMo Minitron 8B Instruct | 8,192 | 2,048 |
Observações
- Endpoint
/v1compatível com OpenAI; use uma chave de API do NVIDIA NGC. - O provedor é habilitado automaticamente quando
NVIDIA_API_KEYestá definido. - O catálogo empacotado é estático; os custos assumem o valor padrão
0no código-fonte.