NVIDIA
NVIDIAは、NemotronおよびNeMoモデル向けにhttps://integrate.api.nvidia.com/v1 でOpenAI互換APIを提供しています。NVIDIA NGC のAPIキーで認証してください。
CLIセットアップ
キーを一度exportしてから、オンボーディングを実行し、NVIDIAモデルを設定します:--token をまだ使っている場合は、それがシェル履歴や ps 出力に残ることを忘れないでください。可能であればenv varを優先してください。
設定スニペット
モデルID
| Model ref | Name | Context | Max output |
|---|---|---|---|
nvidia/nvidia/llama-3.1-nemotron-70b-instruct | NVIDIA Llama 3.1 Nemotron 70B Instruct | 131,072 | 4,096 |
nvidia/meta/llama-3.3-70b-instruct | Meta Llama 3.3 70B Instruct | 131,072 | 4,096 |
nvidia/nvidia/mistral-nemo-minitron-8b-8k-instruct | NVIDIA Mistral NeMo Minitron 8B Instruct | 8,192 | 2,048 |
注記
- OpenAI互換の
/v1エンドポイントです。NVIDIA NGCのAPIキーを使用してください。 NVIDIA_API_KEYが設定されていると、プロバイダーは自動で有効になります。- 同梱のcatalogは静的で、コストはソース上ではデフォルトで
0です。