Zum Hauptinhalt springen

​
NVIDIA

NVIDIA stellt unter https://integrate.api.nvidia.com/v1 eine OpenAI-kompatible API für Nemotron- und NeMo-Modelle bereit. Authentifizieren Sie sich mit einem API-Schlüssel von NVIDIA NGC.

​
CLI-Einrichtung

Exportieren Sie den Schlüssel einmal, führen Sie dann das Onboarding aus und legen Sie ein NVIDIA-Modell fest: 
export NVIDIA_API_KEY="nvapi-..."
openclaw onboard --auth-choice skip
openclaw models set nvidia/nvidia/llama-3.1-nemotron-70b-instruct
Wenn Sie weiterhin --token übergeben, denken Sie daran, dass es im Shell-Verlauf und in der ps-Ausgabe landet; bevorzugen Sie nach Möglichkeit die env var.

​
Konfigurations-Snippet

{
  env: { NVIDIA_API_KEY: "nvapi-..." },
  models: {
    providers: {
      nvidia: {
        baseUrl: "https://integrate.api.nvidia.com/v1",
        api: "openai-completions",
      },
    },
  },
  agents: {
    defaults: {
      model: { primary: "nvidia/nvidia/llama-3.1-nemotron-70b-instruct" },
    },
  },
}

​
Modell-IDs

ModellreferenzNameKontextMax. Ausgabe
nvidia/nvidia/llama-3.1-nemotron-70b-instructNVIDIA Llama 3.1 Nemotron 70B Instruct131,0724,096
nvidia/meta/llama-3.3-70b-instructMeta Llama 3.3 70B Instruct131,0724,096
nvidia/nvidia/mistral-nemo-minitron-8b-8k-instructNVIDIA Mistral NeMo Minitron 8B Instruct8,1922,048

​
Hinweise

  • OpenAI-kompatibler /v1-Endpunkt; verwenden Sie einen API-Schlüssel von NVIDIA NGC.
  • Der Provider wird automatisch aktiviert, wenn NVIDIA_API_KEY gesetzt ist.
  • Der gebündelte Katalog ist statisch; Kosten sind im Quellcode standardmäßig auf 0 gesetzt.