xAI

Der gebündelte grok-Provider für die Websuche bevorzugt xAI OAuth und greift anschließend auf XAI_API_KEY oder einen Websuchschlüssel eines Plugins zurück:

openclaw models auth login --provider xai --method oauthopenclaw config set tools.web.search.provider grok

Das gebündelte xai-Plugin registriert die Videogenerierung über das gemeinsame video_generate-Tool.

• Standardmodell: xai/grok-imagine-video
• Zusätzliches Modell: xai/grok-imagine-video-1.5
• Klassische Modi: Text-zu-Video, Bild-zu-Video, Generierung anhand von Referenzbildern, Remote-Videobearbeitung und Remote-Videoverlängerung
• Video-1.5-Modus: nur Bild-zu-Video, mit genau einem Bild für den ersten Frame
• Seitenverhältnisse: 1:1, 16:9, 9:16, 4:3, 3:4, 3:2, 2:3; bei Auslassung übernehmen klassische Bild-zu-Video-Modi und Video 1.5 das Seitenverhältnis des Quellbilds
• Auflösungen: klassisch 480P/720P; Video 1.5 unterstützt außerdem 1080P; alle Generierungsmodi verwenden standardmäßig 480P
• Dauer: 1–15 Sekunden für Generierung/Bild-zu-Video, 1–10 Sekunden bei Verwendung klassischer reference_image-Rollen, 2–10 Sekunden für die klassische Verlängerung
• Generierung anhand von Referenzbildern: Setzen Sie imageRoles für jedes bereitgestellte Bild auf reference_image; xAI akzeptiert bis zu 7 solcher Bilder
• Videobearbeitung/-verlängerung übernimmt Seitenverhältnis und Auflösung des Eingabevideos; diese Vorgänge akzeptieren keine Geometrieüberschreibungen
• Standardzeitüberschreitung für Vorgänge: 600 Sekunden, sofern nicht video_generate.timeoutMs oder agents.defaults.mediaModels.video.timeoutMs festgelegt ist

Video 1.5 erkennt außerdem die xAI-Bezeichner grok-imagine-video-1.5-preview und grok-imagine-video-1.5-2026-05-30. OpenClaw leitet den ausgewählten Bezeichner unverändert weiter, wendet jedoch dieselbe Nur-Bild-Validierung an.

So verwenden Sie xAI als Standard-Video-Provider:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "xai/grok-imagine-video",      },    },  },}

Das gebündelte Plugin xai registriert die Bildgenerierung über das gemeinsame Tool image_generate.

• Standardbildmodell: xai/grok-imagine-image
• Zusätzliches Modell: xai/grok-imagine-image-quality
• Modi: Text-zu-Bild und Bearbeitung eines Referenzbilds
• Referenzeingaben: ein image oder bis zu drei images
• Seitenverhältnisse: 1:1, 16:9, 9:16, 4:3, 3:4, 3:2, 2:3, 2:1, 1:2, 19.5:9, 9:19.5, 20:9, 9:20
• Auflösungen: 1K, 2K
• Anzahl: bis zu 4 Bilder
• Standardmäßiges Zeitlimit für Vorgänge: 600 Sekunden, sofern weder image_generate.timeoutMs noch agents.defaults.mediaModels.image.timeoutMs festgelegt ist

OpenClaw fordert von xAI Bildantworten im Format b64_json an, damit generierte Medien gespeichert und über den normalen Pfad für Kanalanhänge zugestellt werden können. Lokale Referenzbilder werden in Daten-URLs umgewandelt; entfernte http(s)-Referenzen werden unverändert weitergeleitet.

So verwenden Sie xAI als standardmäßigen Bild-Provider:

{  agents: {    defaults: {      imageGenerationModel: {        primary: "xai/grok-imagine-image",      },    },  },}

Das gebündelte Plugin xai registriert Text-zu-Sprache über die gemeinsame Provider-Oberfläche tts.

• Stimmen: authentifizierter Live-Katalog von xAI; Auflistung mit openclaw infer tts voices --provider xai
• Offline-Fallback-Stimmen: ara, eve, leo, rex, sal
• Standardstimme: eve
• Benutzerdefinierte Stimmen-IDs des Kontos werden auch dann weitergeleitet, wenn sie in der Antwort des integrierten Katalogs fehlen
• Formate: mp3, wav, pcm, mulaw, alaw
• Sprache: BCP-47-Code oder auto
• Geschwindigkeit: Provider-native Geschwindigkeitsüberschreibung
• Das native Opus-Sprachnachrichtenformat wird nicht unterstützt

So verwenden Sie xAI als standardmäßigen TTS-Provider:

{  tts: {    provider: "xai",    providers: {      xai: {        voiceId: "eve",      },    },  },}

Das gebündelte Plugin xai registriert Batch-Sprache-zu-Text über die Transkriptionsoberfläche der Medienanalyse von OpenClaw.

• Endpunkt: xAI REST /v1/stt
• Eingabepfad: Multipart-Upload einer Audiodatei
• Modellauswahl: xAI wählt das Transkriptionsmodell intern aus; der Endpunkt verfügt über keine Modellauswahl
• Wird überall dort verwendet, wo die Transkription eingehender Audiodaten tools.media.audio liest, einschließlich Segmenten aus Discord-Sprachkanälen und Kanal-Audioanhängen

So erzwingen Sie xAI für die Transkription eingehender Audiodaten:

{  tools: {    media: {      audio: {        models: [          {            type: "provider",            provider: "xai",          },        ],      },    },  },}

Die Sprache kann über die gemeinsame Audiomedienkonfiguration oder je Transkriptionsanfrage angegeben werden. Prompt-Hinweise werden von der gemeinsamen OpenClaw- Oberfläche akzeptiert, die xAI-REST-STT-Integration leitet jedoch nur Datei und Sprache weiter, da nur diese dem aktuellen öffentlichen xAI-Endpunkt entsprechen.

Das gebündelte Plugin xai registriert außerdem einen Echtzeit-Transkriptions-Provider für Audiodaten aus Live-Sprachanrufen.

• Endpunkt: xAI WebSocket wss://api.x.ai/v1/stt
• Standardkodierung: mulaw
• Standard-Abtastrate: 8000
• Standard-Endpunkterkennung: 800ms
• Zwischentranskripte: standardmäßig aktiviert

Der Twilio-Medienstream von Voice Call sendet G.711-mu-law-Audioframes, daher leitet der xAI-Provider diese Frames ohne Transcodierung direkt weiter:

{  plugins: {    entries: {      "voice-call": {        config: {          streaming: {            enabled: true,            provider: "xai",            providers: {              xai: {                apiKey: "${XAI_API_KEY}",                endpointingMs: 800,                language: "en",              },            },          },        },      },    },  },}

Die Provider-eigene Konfiguration befindet sich unter plugins.entries.voice-call.config.streaming.providers.xai. Unterstützte Schlüssel sind apiKey, baseUrl, sampleRate, encoding (pcm, mulaw oder alaw), interimResults, endpointingMs und language.

Das gebündelte Plugin xai registriert Echtzeitsitzungen des Grok Voice Agent für den Talk-Modus über den gemeinsamen Vertrag registerRealtimeVoiceProvider.

• Endpunkt: wss://api.x.ai/v1/realtime?model=<voice-model>
• Standardmodell: grok-voice-latest
• Standardstimme: eve
• Transport: gateway-relay (Relay-Pfade für iOS, Android und Control UI)
• Audio: PCM16 24 kHz oder G.711 µ-law 8 kHz
• Unterbrechung: Die xAI-Server-VAD unterbricht die Antwort; OpenClaw leert die Wiedergabewarteschlange und kürzt den nicht wiedergegebenen Provider-Verlauf

Konfigurieren Sie Talk auf dem Gateway:

{  talk: {    realtime: {      provider: "xai",      mode: "realtime",      transport: "gateway-relay",      brain: "agent-consult",      providers: {        xai: {          model: "grok-voice-latest",          voice: "eve",          // Nur aktivieren, wenn die sitzungsseitige Wiedergabe durch den Provider akzeptabel ist.          sessionResumption: false,        },      },    },  },  env: { XAI_API_KEY: "xai-..." },}

Die Provider-eigene Konfiguration wird außerdem aus plugins.entries.voice-call.config.realtime.providers.xai aufgelöst, wenn Voice Call oder gemeinsame Echtzeitauswahlen dieselbe Provider-Zuordnung wiederverwenden. Unterstützte Schlüssel sind apiKey, baseUrl, model, voice, vadThreshold, silenceDurationMs, prefixPaddingMs, reasoningEffort und sessionResumption. reasoningEffort akzeptiert entsprechend der xAI Voice Agent API nur high oder none.

Die Server-VAD von xAI erstellt immer Antworten und verarbeitet Audiounterbrechungen. Verwenden Sie consultRouting: "provider-direct"; erzwungenes Transkript-Routing und die Deaktivierung der Eingabe-Audiounterbrechung werden vom xAI-Voice-Agent-Protokoll nicht unterstützt.

Das gebündelte xAI-Plugin stellt x_search als OpenClaw-Tool zum Durchsuchen von Inhalten auf X (ehemals Twitter) über Grok bereit.

Konfigurationspfad: plugins.entries.xai.config.xSearch

{  plugins: {    entries: {      xai: {        config: {          xSearch: {            enabled: true,            model: "grok-4.3",            baseUrl: "https://api.x.ai/v1",            inlineCitations: true,          },        },      },    },  },}

Das gebündelte xAI-Plugin stellt code_execution als OpenClaw-Tool für die entfernte Codeausführung in der Sandbox-Umgebung von xAI bereit.

Konfigurationspfad: plugins.entries.xai.config.codeExecution

{  plugins: {    entries: {      xai: {        config: {          codeExecution: {            enabled: true,            model: "grok-4.3",          },        },      },    },  },}

• Für die xAI-Authentifizierung können ein API-Schlüssel, eine Umgebungsvariable, ein Fallback auf die Plugin-Konfiguration oder OAuth mit einem berechtigten xAI-Konto verwendet werden. OAuth verwendet eine Gerätecode-Verifizierung ohne localhost-Callback. xAI entscheidet, welche Konten OAuth-API-Token erhalten können, und auf der Einwilligungsseite kann Grok Build angezeigt werden, obwohl OpenClaw die Grok-Build-App nicht benötigt.
• OpenClaw stellt die Multi-Agent-Modellfamilie von xAI derzeit nicht bereit. xAI stellt diese Modelle über die Responses API bereit, sie akzeptieren jedoch weder die clientseitigen noch die benutzerdefinierten Tools, die von der gemeinsamen Agent-Schleife von OpenClaw verwendet werden. Siehe die Einschränkungen für Multi-Agent-Systeme von xAI.
• xAI Realtime Voice stellt derzeit nur den Gateway-Relay-Transport für Talk bereit. Vom Browser verwaltete Provider-WebSocket-Sitzungen sind noch nicht in die Control UI integriert.
• xAI-Bild-quality, Bild-mask und zusätzliche ausschließlich native Seitenverhältnisse werden erst bereitgestellt, wenn das gemeinsame Tool image_generate über entsprechende Provider-übergreifende Steuerelemente verfügt.

• OpenClaw wendet xAI-spezifische Kompatibilitätskorrekturen für Tool-Schemas und Tool-Aufrufe automatisch im gemeinsamen Runner-Pfad an.
• Native xAI-Anfragen verwenden standardmäßig tool_stream: true. Setzen Sie agents.defaults.models["xai/<model>"].params.tool_stream auf false, um dies zu deaktivieren.
• Der mitgelieferte xAI-Wrapper entfernt nicht unterstützte Schema-Grenzen für die Anzahl enthaltener Elemente und nicht unterstützte effort-Payload-Schlüssel für Reasoning, bevor native xAI-Anfragen gesendet werden. Grok 4.5 unterstützt einen niedrigen, mittleren und hohen Aufwand (Standard: hoch). Grok 4.3 unterstützt keinen, niedrigen, mittleren und hohen Aufwand (Standard: niedrig). Andere Reasoning-fähige xAI-Modelle stellen keine konfigurierbare Aufwandssteuerung bereit, fordern jedoch weiterhin include: ["reasoning.encrypted_content"] an, damit vorheriges verschlüsseltes Reasoning in nachfolgenden Runden erneut verwendet werden kann.
• web_search, x_search und code_execution werden als OpenClaw-Tools bereitgestellt. OpenClaw hängt nur die spezifische integrierte xAI-Funktion, die jedes Tool benötigt, an die Anfrage dieses Tools an, anstatt jedes native Tool an jede Chat-Runde anzuhängen.
• Grok web_search liest plugins.entries.xai.config.webSearch.baseUrl. x_search liest plugins.entries.xai.config.xSearch.baseUrl und greift anschließend auf die Basis-URL der Grok-Websuche zurück.
• x_search und code_execution gehören zum mitgelieferten xAI-Plugin, anstatt fest in der zentralen Modelllaufzeit codiert zu sein.
• code_execution ist eine entfernte Ausführung in der xAI-Sandbox, keine lokale exec.