​

Musikgenerierung

​

Schnellstart

​

Gemeinsam genutzte providergestützte Generierung

1. Setzen Sie einen API-Schlüssel für mindestens einen Provider, zum Beispiel GEMINI_API_KEY oder MINIMAX_API_KEY.
2. Optional können Sie Ihr bevorzugtes Modell festlegen:

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

3. Fragen Sie den Agenten: „Erzeuge einen mitreißenden Synthpop-Track über eine nächtliche Fahrt durch eine Neonstadt.“

Generate a cinematic piano track with soft strings and no vocals.

Generate an energetic chiptune loop about launching a rocket at sunrise.

​

Workflowgesteuerte Comfy-Generierung

1. Konfigurieren Sie models.providers.comfy.music mit einem Workflow-JSON und Prompt-/Ausgabeknoten.
2. Wenn Sie Comfy Cloud verwenden, setzen Sie COMFY_API_KEY oder COMFY_CLOUD_API_KEY.
3. Bitten Sie den Agenten um Musik oder rufen Sie das Tool direkt auf.

/tool music_generate prompt="Warme Ambient-Synth-Schleife mit weicher Bandtextur"

​

Unterstützung durch gemeinsam genutzte gebündelte Provider

​

Deklarierte Fähigkeitsmatrix

/tool music_generate action=list

/tool music_generate action=status

/tool music_generate prompt="Verträumter Lo-fi-Hip-Hop mit Vinyltextur und sanftem Regen" instrumental=true

​

Parameter des eingebauten Tools

​

Asynchrones Verhalten für den gemeinsam genutzten providergestützten Pfad

• Agentenläufe mit Sitzung: music_generate erstellt eine Hintergrundaufgabe, gibt sofort eine Antwort vom Typ gestartet/Aufgabe zurück und postet den fertigen Track später in einer nachfolgenden Agentennachricht.
• Verhinderung von Duplikaten: Solange diese Hintergrundaufgabe noch queued oder running ist, geben spätere Aufrufe von music_generate in derselben Sitzung den Aufgabenstatus zurück, statt eine weitere Generierung zu starten.
• Statusabfrage: Verwenden Sie action: "status", um die aktive sitzungsgestützte Musikaufgabe zu prüfen, ohne eine neue zu starten.
• Aufgabenverfolgung: Verwenden Sie openclaw tasks list oder openclaw tasks show <taskId>, um den Status queued, running und Endstatus der Generierung zu prüfen.
• Wecken bei Abschluss: OpenClaw injiziert ein internes Abschlussereignis zurück in dieselbe Sitzung, damit das Modell selbst die nutzerseitige Folgemeldung schreiben kann.
• Prompt-Hinweis: Spätere Nutzer-/manuelle Turns in derselben Sitzung erhalten einen kleinen Laufzeithinweis, wenn bereits eine Musikaufgabe läuft, damit das Modell nicht blind erneut music_generate aufruft.
• Fallback ohne Sitzung: Direkte/lokale Kontexte ohne echte Agentensitzung laufen weiterhin inline und geben das finale Audioergebnis im selben Turn zurück.

​

Aufgabenlebenszyklus

1. queued — Aufgabe erstellt, wartet darauf, dass der Provider sie annimmt.
2. running — Provider verarbeitet die Aufgabe (typischerweise 30 Sekunden bis 3 Minuten, abhängig von Provider und Dauer).
3. succeeded — Track bereit; der Agent wird geweckt und postet ihn in die Unterhaltung.
4. failed — Providerfehler oder Timeout; der Agent wird mit Fehlerdetails geweckt.

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Konfiguration

​

Modellauswahl

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.5+"],
      },
    },
  },
}

​

Reihenfolge der Providerauswahl

1. Parameter model aus dem Tool-Aufruf, falls der Agent einen angibt
2. musicGenerationModel.primary aus der Konfiguration
3. musicGenerationModel.fallbacks in Reihenfolge
4. Automatische Erkennung nur mit auth-gestützten Provider-Standards:
   • zuerst aktueller Standardprovider
   • verbleibende registrierte Provider für Musikgenerierung in Reihenfolge der Provider-IDs

​

Hinweise zu Providern

• Google verwendet die Batch-Generierung von Lyria 3. Der aktuelle gebündelte Ablauf unterstützt Prompt, optionalen Liedtext und optionale Referenzbilder.
• MiniMax verwendet den Batch-Endpunkt music_generation. Der aktuelle gebündelte Ablauf unterstützt Prompt, optionale Liedtexte, instrumentalen Modus, Dauersteuerung und MP3-Ausgabe.
• Die Unterstützung für ComfyUI ist workflowgesteuert und hängt vom konfigurierten Graphen sowie der Knotenzuordnung für Prompt-/Ausgabefelder ab.

​

Fähigkeitsmodi von Providern

• generate für promptbasierte Generierung
• edit, wenn die Anfrage ein oder mehrere Referenzbilder enthält

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Den richtigen Pfad wählen

• Verwenden Sie den gemeinsam genutzten providergestützten Pfad, wenn Sie Modellauswahl, Provider-Failover und den eingebauten asynchronen Aufgaben-/Status-Flow möchten.
• Verwenden Sie einen Plugin-Pfad wie ComfyUI, wenn Sie einen benutzerdefinierten Workflow-Graphen oder einen Provider benötigen, der nicht Teil der gemeinsam genutzten gebündelten Fähigkeit zur Musikgenerierung ist.
• Wenn Sie ComfyUI-spezifisches Verhalten debuggen, siehe ComfyUI. Wenn Sie gemeinsam genutztes Providerverhalten debuggen, beginnen Sie mit Google (Gemini) oder MiniMax.

​

Live-Tests

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media music

• google: generate plus edit
• minimax: nur generate
• comfy: separate Comfy-Live-Abdeckung, nicht der gemeinsame Provider-Sweep

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Verwandt

• Hintergrundaufgaben - Aufgabenverfolgung für entkoppelte Läufe von music_generate
• Konfigurationsreferenz - Konfiguration von musicGenerationModel
• ComfyUI
• Google (Gemini)
• MiniMax
• Models - Modellkonfiguration und Failover
• Tool-Übersicht