​

Génération musicale

​

Démarrage rapide

​

Génération adossée à un fournisseur partagé

1. Définissez une clé API pour au moins un fournisseur, par exemple GEMINI_API_KEY ou MINIMAX_API_KEY.
2. Définissez éventuellement votre modèle préféré :

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

3. Demandez à l’agent : « Génère une piste synthpop entraînante sur une virée de nuit dans une ville néon. »

Generate a cinematic piano track with soft strings and no vocals.

Generate an energetic chiptune loop about launching a rocket at sunrise.

​

Génération Comfy pilotée par workflow

1. Configurez models.providers.comfy.music avec un JSON de workflow et des nœuds de prompt/sortie.
2. Si vous utilisez Comfy Cloud, définissez COMFY_API_KEY ou COMFY_CLOUD_API_KEY.
3. Demandez de la musique à l’agent ou appelez directement l’outil.

/tool music_generate prompt="Warm ambient synth loop with soft tape texture"

​

Prise en charge intégrée des fournisseurs partagés

​

Matrice de capacités déclarées

/tool music_generate action=list

/tool music_generate action=status

/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true

​

Paramètres de l’outil intégré

​

Comportement asynchrone pour le chemin adossé au fournisseur partagé

• Exécutions d’agent adossées à une session : music_generate crée une tâche d’arrière-plan, renvoie immédiatement une réponse de type démarrée/tâche, puis publie la piste terminée plus tard dans un message de suivi de l’agent.
• Prévention des doublons : tant que cette tâche d’arrière-plan est encore queued ou running, les appels ultérieurs à music_generate dans la même session renvoient l’état de la tâche au lieu de lancer une autre génération.
• Recherche d’état : utilisez action: "status" pour inspecter la tâche musicale active adossée à la session sans en lancer une nouvelle.
• Suivi des tâches : utilisez openclaw tasks list ou openclaw tasks show <taskId> pour inspecter les états en file d’attente, en cours et terminaux de la génération.
• Réveil à la fin : OpenClaw injecte un événement interne de fin dans la même session afin que le modèle puisse lui-même rédiger le message de suivi visible par l’utilisateur.
• Indication de prompt : les tours utilisateur/manuels ultérieurs dans la même session reçoivent une petite indication d’exécution lorsqu’une tâche musicale est déjà en cours afin que le modèle n’appelle pas aveuglément music_generate à nouveau.
• Repli sans session : les contextes directs/locaux sans véritable session d’agent s’exécutent toujours inline et renvoient le résultat audio final dans le même tour.

​

Cycle de vie de la tâche

1. queued — tâche créée, en attente que le fournisseur l’accepte.
2. running — le fournisseur traite la demande (généralement de 30 secondes à 3 minutes selon le fournisseur et la durée).
3. succeeded — la piste est prête ; l’agent se réveille et la publie dans la conversation.
4. failed — erreur ou délai d’attente du fournisseur ; l’agent se réveille avec les détails de l’erreur.

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Configuration

​

Sélection du modèle

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.5+"],
      },
    },
  },
}

​

Ordre de sélection des fournisseurs

1. Le paramètre model de l’appel d’outil, si l’agent en spécifie un
2. musicGenerationModel.primary depuis la configuration
3. musicGenerationModel.fallbacks dans l’ordre
4. Détection automatique à l’aide des seules valeurs par défaut de fournisseur adossées à l’authentification :
   • le fournisseur par défaut actuel d’abord
   • les autres fournisseurs de génération musicale enregistrés restants dans l’ordre des ID de fournisseur

​

Notes sur les fournisseurs

• Google utilise la génération par lots Lyria 3. Le flux intégré actuel prend en charge le prompt, le texte de paroles facultatif et des images de référence facultatives.
• MiniMax utilise le point de terminaison par lots music_generation. Le flux intégré actuel prend en charge le prompt, les paroles facultatives, le mode instrumental, l’orientation de durée et la sortie mp3.
• La prise en charge de ComfyUI est pilotée par workflow et dépend du graphe configuré ainsi que du mappage de nœuds pour les champs de prompt/sortie.

​

Modes de capacité des fournisseurs

• generate pour la génération à partir du seul prompt
• edit lorsque la requête inclut une ou plusieurs images de référence

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Choisir le bon chemin

• Utilisez le chemin partagé adossé à un fournisseur lorsque vous voulez la sélection de modèle, le repli entre fournisseurs et le flux intégré asynchrone de tâche/état.
• Utilisez un chemin de plugin tel que ComfyUI lorsque vous avez besoin d’un graphe de workflow personnalisé ou d’un fournisseur qui ne fait pas partie de la capacité musicale intégrée partagée.
• Si vous déboguez un comportement spécifique à ComfyUI, voir ComfyUI. Si vous déboguez le comportement d’un fournisseur partagé, commencez par Google (Gemini) ou MiniMax.

​

Tests live

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media music

• google : generate plus edit
• minimax : generate uniquement
• comfy : couverture live Comfy séparée, hors balayage des fournisseurs partagés

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Liens associés

• Tâches d’arrière-plan - suivi des tâches pour les exécutions music_generate détachées
• Référence de configuration - configuration musicGenerationModel
• ComfyUI
• Google (Gemini)
• MiniMax
• Modèles - configuration des modèles et repli
• Vue d’ensemble des outils