NVIDIA
NVIDIA, Nemotron ve NeMo modelleri içinhttps://integrate.api.nvidia.com/v1
adresinde OpenAI uyumlu bir API sunar. NVIDIA NGC üzerinden alınan bir API anahtarıyla kimlik doğrulaması yapın.
CLI kurulumu
Anahtarı bir kez dışa aktarın, ardından onboarding’i çalıştırın ve bir NVIDIA modeli ayarlayın:--token geçiriyorsanız, bunun kabuk geçmişine ve ps çıktısına yazılacağını unutmayın; mümkün olduğunda env var’ı tercih edin.
Yapılandırma parçası
Model kimlikleri
| Model ref | Ad | Bağlam | Maksimum çıktı |
|---|---|---|---|
nvidia/nvidia/llama-3.1-nemotron-70b-instruct | NVIDIA Llama 3.1 Nemotron 70B Instruct | 131,072 | 4,096 |
nvidia/meta/llama-3.3-70b-instruct | Meta Llama 3.3 70B Instruct | 131,072 | 4,096 |
nvidia/nvidia/mistral-nemo-minitron-8b-8k-instruct | NVIDIA Mistral NeMo Minitron 8B Instruct | 8,192 | 2,048 |
Notlar
- OpenAI uyumlu
/v1uç noktası; NVIDIA NGC’den bir API anahtarı kullanın. NVIDIA_API_KEYayarlandığında sağlayıcı otomatik olarak etkinleşir.- Paketlenmiş katalog statiktir; maliyetler kaynakta varsayılan olarak
0olur.