Musikgenerierung

Prompt für die Musikgenerierung. Für action: "generate" erforderlich.

"status" gibt die aktuelle Sitzungsaufgabe zurück; "list" prüft Provider.

Überschreibung des Providers/Modells (z. B. google/lyria-3-pro-preview, comfy/workflow).

Optionale Liedtexte, wenn der Provider die explizite Eingabe von Liedtexten unterstützt.

Fordert eine rein instrumentale Ausgabe an, wenn der Provider dies unterstützt.

Pfad oder URL eines einzelnen Referenzbilds.

Mehrere Referenzbilder (bis zu 10 bei unterstützenden Providern).

Zieldauer in Sekunden, wenn der Provider Dauerhinweise unterstützt.

Hinweis zum Ausgabeformat, wenn der Provider dies unterstützt.

Zeitüberschreitungen für Provider-Anfragen sind ausschließlich eine Betreiberkonfiguration. OpenClaw verwendet agents.defaults.mediaModels.music.timeoutMs, wenn dies konfiguriert ist, erhöht Werte unter 120000ms auf 120000ms und verwendet andernfalls standardmäßig 300000ms für Provider-Anfragen.

Asynchrones Verhalten

Sitzungsgebundene Musikgenerierung wird als Hintergrundaufgabe ausgeführt:

• Hintergrundaufgabe: music_generate erstellt eine Hintergrundaufgabe, gibt sofort eine Antwort mit Start-/Aufgabeninformationen zurück und veröffentlicht den fertigen Titel später in einer nachfolgenden Agent-Nachricht.
• Vermeidung von Duplikaten: Solange eine Aufgabe queued oder running ist, geben spätere music_generate-Aufrufe in derselben Sitzung den Aufgabenstatus zurück, anstatt eine weitere Generierung zu starten. Verwenden Sie action: "status", um dies ausdrücklich zu prüfen. Eine kürzlich abgeschlossene, übereinstimmende Anfrage wird ebenfalls 2 Minuten lang dedupliziert.
• Statusabfrage: openclaw tasks list oder openclaw tasks show <taskId> prüft den Status von Aufgaben in der Warteschlange, in Ausführung und mit Endstatus.
• Aktivierung bei Abschluss: OpenClaw fügt ein internes Abschlussereignis wieder in dieselbe Sitzung ein, damit das Modell selbst die benutzerseitige Folgemeldung verfassen kann.
• Prompt-Hinweis: Spätere Benutzer-/manuelle Durchläufe in derselben Sitzung erhalten einen kurzen Laufzeithinweis, wenn bereits eine Musikaufgabe läuft, damit das Modell music_generate nicht unbedacht erneut aufruft.
• Fallback ohne Sitzung: Direkte/lokale Kontexte ohne echte Agent- Sitzung werden direkt ausgeführt und geben das endgültige Audioergebnis im selben Durchlauf zurück.

Aufgabenlebenszyklus

Die Musikaufgabe stellt dieselben Zustände wie die allgemeine Aufgabenregistrierung bereit (siehe Hintergrundaufgaben für den vollständigen Zustandsautomaten einschließlich timed_out, cancelled und lost). Die meisten Musikausführungen durchlaufen:

Prüfen Sie den Status über die CLI:

openclaw tasks listopenclaw tasks show <taskId>openclaw tasks cancel <taskId>

Konfiguration

Modellauswahl

{  agents: {    defaults: {      musicGenerationModel: {        primary: "google/lyria-3-clip-preview",        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],      },    },  },}

Reihenfolge der Provider-Auswahl

OpenClaw versucht die Provider in dieser Reihenfolge:

1. model-Parameter aus dem Tool-Aufruf (falls der Agent einen angibt).
2. musicGenerationModel.primary aus der Konfiguration.
3. musicGenerationModel.fallbacks der Reihe nach.
4. Automatische Erkennung ausschließlich anhand authentifizierungsgestützter Provider-Standardwerte:
   • zuerst der aktuelle Standard-Provider für Textmodelle, sofern er auch Musikgenerierung anbietet;
   • die übrigen registrierten Provider für Musikgenerierung, alphabetisch nach Provider-ID.

Wenn ein Provider fehlschlägt, wird automatisch der nächste Kandidat versucht. Wenn alle fehlschlagen, enthält der Fehler Details zu jedem Versuch.

Der automatische Fallback zwischen authentifizierten Providern ist immer aktiviert. Ein aufrufbezogener model bleibt maßgeblich.

Hinweise zu Providern

Den richtigen Pfad wählen

• Gemeinsamer Provider-gestützter Pfad, wenn Sie Modellauswahl, Provider- Failover und den integrierten asynchronen Aufgaben-/Statusablauf benötigen.
• Plugin-Pfad (ComfyUI), wenn Sie einen benutzerdefinierten Workflow-Graphen oder einen Provider benötigen, der nicht zur gemeinsamen gebündelten Musikfunktion gehört.

Wenn Sie ComfyUI-spezifisches Verhalten debuggen, lesen Sie ComfyUI. Wenn Sie das Verhalten gemeinsamer Provider debuggen, beginnen Sie mit fal, Google (Gemini), MiniMax oder OpenRouter.

Funktionsmodi der Provider

Der gemeinsame Vertrag für die Musikgenerierung unterstützt explizite Modusdeklarationen:

• generate für die Generierung nur aus Eingabeaufforderungen.
• edit, wenn die Anfrage ein oder mehrere Referenzbilder enthält.

Neue Provider-Implementierungen sollten explizite Modusblöcke bevorzugen:

capabilities: {  generate: {    maxTracks: 1,    supportsLyrics: true,    supportsFormat: true,  },  edit: {    enabled: true,    maxTracks: 1,    maxInputImages: 1,    supportsFormat: true,  },}

Veraltete flache Felder wie maxInputImages, supportsLyrics und supportsFormat reichen nicht aus, um Bearbeitungsunterstützung auszuweisen. Provider sollten generate und edit explizit deklarieren, damit Live-Tests, Vertragstests und das gemeinsame music_generate-Tool die Modusunterstützung deterministisch validieren können.

Live-Tests

Optionale Live-Testabdeckung für die gemeinsam gebündelten Provider (fal, Google, MiniMax, OpenRouter):

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Entsprechender Repository-Wrapper, der dieselbe Testdatei ausführt:

pnpm test:live:media:music

Diese Live-Datei verwendet standardmäßig bereits exportierte Umgebungsvariablen des Providers vor gespeicherten Authentifizierungsprofilen und führt sowohl die Abdeckung für generate als auch für deklarierte edit aus, wenn der Provider den Bearbeitungsmodus aktiviert. Aktuelle Abdeckung:

• google: generate plus edit
• fal: nur generate
• minimax: nur generate
• openrouter: generate plus edit
• comfy: separate Comfy-Live-Testabdeckung, nicht Teil des gemeinsamen Provider-Durchlaufs

Optionale Live-Testabdeckung für den gebündelten ComfyUI-Musikpfad:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Die Comfy-Live-Datei deckt außerdem Comfy-Workflows für Bilder und Videos ab, wenn diese Abschnitte konfiguriert sind.

Verwandte Themen

• Hintergrundaufgaben — Aufgabenverfolgung für abgekoppelte music_generate-Ausführungen
• ComfyUI
• Konfigurationsreferenz — musicGenerationModel-Konfiguration
• Google (Gemini)
• MiniMax
• Modelle — Modellkonfiguration und Failover
• Übersicht der Tools