Tools
Müzik üretimi
music_generate aracı, ComfyUI, fal, Google, MiniMax ve OpenRouter tarafından
desteklenen ortak müzik oluşturma özelliği aracılığıyla müzik veya ses oluşturur.
Oturum destekli ajan çalıştırmalarında music_generate bir arka plan görevi
olarak başlar, görev defterindeki ilerlemeyi izler ve ardından parça hazır
olduğunda ajanı uyandırarak kullanıcıyı bilgilendirmesini ve tamamlanan sesi
eklemesini sağlar. Tamamlama ajanı, oturumun görünür yanıt sözleşmesine uyar:
yapılandırıldığında otomatik son yanıt veya oturum ileti aracını gerektirdiğinde
message(action="send"). İstekte bulunan oturum etkin değilse ya da uyandırma işlemi
başarısız olursa ve oluşturulan ses hâlâ yanıtta eksikse OpenClaw, yalnızca eksik
sesi içeren eş etkili bir doğrudan geri dönüş gönderir.
Hızlı başlangıç
Ortak sağlayıcı destekli
Kimlik doğrulamasını yapılandırın
En az bir sağlayıcı için bir API anahtarı ayarlayın — örneğin
GEMINI_API_KEY veya MINIMAX_API_KEY.
Varsayılan bir model seçin (isteğe bağlı)
{ agents: { defaults: { musicGenerationModel: { primary: "google/lyria-3-clip-preview", }, }, },}Ajandan isteyin
"Neon bir şehirde gece sürüşü hakkında hareketli bir synthpop parçası oluştur."
Ajan, music_generate aracını otomatik olarak çağırır. Araç için
izin listesi gerekmez.
Oturum destekli bir ajan çalıştırması olmadan (doğrudan/yerel bağlamlarda) araç satır içi çalışır ve son medya yolunu aynı araç sonucunda döndürür.
ComfyUI iş akışı
İş akışını yapılandırın
plugins.entries.comfy.config.music öğesini bir iş akışı JSON'u ve
istem/çıktı düğümleriyle yapılandırın.
Bulut kimlik doğrulaması (isteğe bağlı)
Comfy Cloud için COMFY_API_KEY veya COMFY_CLOUD_API_KEY ayarlayın.
Aracı çağırın
/tool music_generate prompt="Yumuşak bant dokusuna sahip sıcak ortam synth döngüsü"Örnek istemler:
Yumuşak yaylılar içeren ve vokal içermeyen sinematik bir piyano parçası oluştur.Gün doğumunda bir roket fırlatma hakkında enerjik bir chiptune döngüsü oluştur.Kullanılabilir sağlayıcıları/modelleri incelemek için action: "list", etkin
oturum destekli müzik görevini incelemek için ise action: "status" kullanın:
/tool music_generate action=list/tool music_generate action=statusDoğrudan oluşturma örneği:
/tool music_generate prompt="Plak dokusu ve hafif yağmur içeren rüya gibi lo-fi hip hop" instrumental=trueDesteklenen sağlayıcılar
| Sağlayıcı | Varsayılan model | Referans girdileri | Desteklenen denetimler | Kimlik doğrulama |
|---|---|---|---|---|
| ComfyUI | workflow |
En fazla 1 görsel | İş akışıyla tanımlanan müzik veya ses | COMFY_API_KEY, COMFY_CLOUD_API_KEY |
| fal | fal-ai/minimax-music/v2.6 |
Yok | lyrics, instrumental, durationSeconds, format |
FAL_KEY veya FAL_API_KEY |
lyria-3-clip-preview |
En fazla 10 görsel | lyrics, instrumental, format |
GEMINI_API_KEY, GOOGLE_API_KEY |
|
| MiniMax | music-2.6 |
Yok | lyrics, instrumental, format (yalnızca mp3) |
MINIMAX_API_KEY veya MiniMax OAuth |
| OpenRouter | google/lyria-3-pro-preview |
En fazla 1 görsel | lyrics, instrumental, durationSeconds, format |
OPENROUTER_API_KEY |
MiniMax, aynı modelleri paylaşan iki sağlayıcı kimliği kaydeder: API anahtarıyla
kimlik doğrulama için minimax, OAuth için minimax-portal. Model
referansları kimlik doğrulama yolunu izler (minimax/music-2.6 ile
minimax-portal/music-2.6 karşılaştırması); bkz.
MiniMax.
fal ayrıca varsayılan MiniMax destekli modelinin yanında fal-ai/ace-step/prompt-to-audio
(wav, şarkı sözü yok, enstrümantal geçiş düğmesi yok) ve
fal-ai/stable-audio-25/text-to-audio (wav, yalnızca istem) seçeneklerini de sunar. Google'ın
varsayılan lyria-3-clip-preview modeli yalnızca mp3 çıktısı verir;
lyria-3-pro-preview ise wav biçimini de destekler. MiniMax ayrıca
music-2.6-free, music-cover ve music-cover-free seçeneklerini
sunar. OpenRouter ayrıca google/lyria-3-clip-preview seçeneğini sunar.
Yetenek matrisi
music_generate, sözleşme testleri ve ortak canlı tarama tarafından kullanılan
açık kip sözleşmesi:
| Sağlayıcı | generate |
edit |
Düzenleme sınırı | Ortak canlı hatlar |
|---|---|---|---|---|
| ComfyUI | ✓ | ✓ | 1 görsel | Ortak taramada yer almaz; extensions/comfy/comfy.live.test.ts kapsamındadır |
| fal | ✓ | — | Yok | generate |
| ✓ | ✓ | 10 görsel | generate, edit |
|
| MiniMax | ✓ | — | Yok | generate |
| OpenRouter | ✓ | ✓ | 1 görsel | generate, edit |
Araç parametreleri
promptstringrequiredMüzik oluşturma istemi. action: "generate" için gereklidir.
action"generate" | "status" | "list"default: generate"status" geçerli oturum görevini döndürür; "list"
sağlayıcıları inceler.
modelstringSağlayıcı/model geçersiz kılma değeri (ör. google/lyria-3-pro-preview,
comfy/workflow).
lyricsstringSağlayıcı açık şarkı sözü girdisini desteklediğinde isteğe bağlı şarkı sözleri.
instrumentalbooleanSağlayıcı desteklediğinde yalnızca enstrümantal çıktı isteyin.
imagestringTek referans görsel yolu veya URL'si.
imagesstring[]Birden fazla referans görsel (destekleyen sağlayıcılarda en fazla 10).
durationSecondsnumberSağlayıcı süre ipuçlarını desteklediğinde saniye cinsinden hedef süre.
format"mp3" | "wav"Sağlayıcı desteklediğinde çıktı biçimi ipucu.
filenamestringSağlayıcı istek zaman aşımları yalnızca operatör yapılandırmasıdır. OpenClaw,
yapılandırıldığında agents.defaults.mediaModels.music.timeoutMs kullanır, 120000ms altındaki değerleri
120000ms değerine yükseltir ve aksi durumda sağlayıcı istekleri için varsayılan
olarak 300000ms kullanır.
Eşzamansız davranış
Oturum destekli müzik oluşturma işlemi bir arka plan görevi olarak çalışır:
- Arka plan görevi:
music_generatebir arka plan görevi oluşturur, başlatıldı/görev yanıtını hemen döndürür ve tamamlanan parçayı daha sonra bir takip ajanı iletisinde gönderir. - Yinelenenleri önleme: Bir görev
queuedveyarunningdurumundayken aynı oturumdaki sonrakimusic_generateçağrıları başka bir oluşturma başlatmak yerine görev durumunu döndürür. Açıkça denetlemek içinaction: "status"kullanın. Yakın zamanda tamamlanmış eşleşen bir istek de 2 dakika boyunca yinelenen istek olarak elenir. - Durum sorgulama:
openclaw tasks listveyaopenclaw tasks show <taskId>, kuyruğa alınmış, çalışan ve sonlanmış durumları inceler. - Tamamlama uyandırması: OpenClaw, modelin kullanıcıya yönelik takip iletisini kendisinin yazabilmesi için aynı oturuma dahili bir tamamlama olayı ekler.
- İstem ipucu: Aynı oturumdaki sonraki kullanıcı/manuel turlar, bir müzik görevi
zaten devam ediyorsa küçük bir çalışma zamanı ipucu alır; böylece model
music_generatearacını düşünmeden tekrar çağırmaz. - Oturumsuz geri dönüş: Gerçek bir ajan oturumu olmayan doğrudan/yerel bağlamlar, işlemi satır içi çalıştırır ve son ses sonucunu aynı turda döndürür.
Görev yaşam döngüsü
Müzik görevi, genel görev kayıt defteriyle aynı durumları sunar
(timed_out, cancelled ve lost dâhil tam durum
makinesi için bkz. Arka plan görevleri).
Çoğu müzik çalıştırması şu durumlardan geçer:
| Durum | Anlamı |
|---|---|
queued |
Görev oluşturuldu; sağlayıcının kabul etmesi bekleniyor. |
running |
Sağlayıcı işliyor (sağlayıcıya ve süreye bağlı olarak genellikle 30 saniye ile 3 dakika arası). |
succeeded |
Parça hazır; ajan uyanır ve parçayı konuşmaya gönderir. |
failed |
Sağlayıcı hatası veya zaman aşımı; ajan hata ayrıntılarıyla uyanır. |
Durumu CLI üzerinden denetleyin:
openclaw tasks listopenclaw tasks show <taskId>openclaw tasks cancel <taskId>Yapılandırma
Model seçimi
{ agents: { defaults: { musicGenerationModel: { primary: "google/lyria-3-clip-preview", fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"], }, }, },}Sağlayıcı seçim sırası
OpenClaw sağlayıcıları şu sırayla dener:
- Araç çağrısındaki
modelparametresi (ajan bir tane belirtirse). - Yapılandırmadaki
musicGenerationModel.primary. - Sırayla
musicGenerationModel.fallbacks. - Yalnızca kimlik doğrulama destekli sağlayıcı varsayılanlarını kullanan otomatik algılama:
- müzik oluşturma da sunuyorsa önce geçerli varsayılan metin modeli sağlayıcısı;
- ardından kalan kayıtlı müzik oluşturma sağlayıcıları, sağlayıcı kimliğine göre alfabetik sırayla.
Bir sağlayıcı başarısız olursa sonraki aday otomatik olarak denenir. Tümü başarısız olursa hata, her denemenin ayrıntılarını içerir.
Kimliği doğrulanmış sağlayıcılar arasında otomatik geri dönüş her zaman etkindir.
Çağrı başına model belirleyici olmaya devam eder.
Sağlayıcı notları
ComfyUI
İş akışı odaklıdır ve yapılandırılmış grafiğin yanı sıra istem/çıktı
alanlarının node eşlemesine bağlıdır. Birlikte sunulan comfy plugin'i,
müzik oluşturma sağlayıcı kayıt defteri üzerinden paylaşılan
music_generate aracına bağlanır.
fal
Paylaşılan sağlayıcı kimlik doğrulama yolu üzerinden fal model uç noktalarını kullanır.
Birlikte sunulan sağlayıcı varsayılan olarak fal-ai/minimax-music/v2.6 kullanır ve istemden sese
istekleri için fal-ai/ace-step/prompt-to-audio ile
fal-ai/stable-audio-25/text-to-audio modellerini de sunar.
Şarkı sözleri ve enstrümantal mod yalnızca MiniMax modellerinde kullanılabilir; diğer iki
model yalnızca istem destekler.
Google (Lyria 3)
Lyria 3 toplu oluşturmayı kullanır. Birlikte sunulan mevcut akış;
istemi, isteğe bağlı şarkı sözü metnini ve isteğe bağlı referans görsellerini destekler.
Varsayılan lyria-3-clip-preview modeli yalnızca mp3 çıktısı verir;
lyria-3-pro-preview modeli ayrıca wav biçimini destekler.
MiniMax
Toplu music_generation uç noktasını kullanır. İstemi, isteğe bağlı
şarkı sözlerini, enstrümantal modu ve minimax API anahtarıyla kimlik doğrulama
veya minimax-portal OAuth üzerinden mp3 çıktısını destekler. Ayrıca music-2.6-free,
music-cover ve music-cover-free modellerini sunar.
OpenRouter
Akış etkinleştirilmiş şekilde OpenRouter sohbet tamamlama ses çıktısını kullanır.
Birlikte sunulan sağlayıcı varsayılan olarak google/lyria-3-pro-preview kullanır ve ayrıca
openrouter/google/lyria-3-clip-preview modelini sunar.
Doğru yolu seçme
- Model seçimi, sağlayıcı yük devretme ve yerleşik eşzamansız görev/durum akışı istediğinizde paylaşılan sağlayıcı destekli yolu kullanın.
- Özel bir iş akışı grafiğine veya paylaşılan ve birlikte sunulan müzik özelliğinin parçası olmayan bir sağlayıcıya ihtiyaç duyduğunuzda Plugin yolu (ComfyUI) kullanın.
ComfyUI'ye özgü davranışlarda hata ayıklıyorsanız ComfyUI sayfasına bakın. Paylaşılan sağlayıcı davranışında hata ayıklıyorsanız fal, Google (Gemini), MiniMax veya OpenRouter ile başlayın.
Sağlayıcı yetenek modları
Paylaşılan müzik oluşturma sözleşmesi açık mod bildirimlerini destekler:
- Yalnızca istemle oluşturma için
generate. - İstek bir veya daha fazla referans görseli içerdiğinde
edit.
Yeni sağlayıcı uygulamaları açık mod bloklarını tercih etmelidir:
capabilities: { generate: { maxTracks: 1, supportsLyrics: true, supportsFormat: true, }, edit: { enabled: true, maxTracks: 1, maxInputImages: 1, supportsFormat: true, },}maxInputImages, supportsLyrics ve
supportsFormat gibi eski düz alanlar, düzenleme desteğini duyurmak için yeterli değildir.
Sağlayıcılar; canlı testlerin, sözleşme testlerinin ve paylaşılan music_generate
aracının mod desteğini belirlenimci biçimde doğrulayabilmesi için
generate ve edit değerlerini açıkça bildirmelidir.
Canlı testler
Paylaşılan ve birlikte sunulan sağlayıcılar (fal, Google, MiniMax, OpenRouter) için isteğe bağlı canlı kapsam:
OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.tsAynı test dosyasını çalıştıran eşdeğer depo sarmalayıcısı:
pnpm test:live:media:musicBu canlı dosya, varsayılan olarak saklanan kimlik doğrulama profillerinden önce
önceden dışa aktarılmış sağlayıcı ortam değişkenlerini kullanır ve sağlayıcı düzenleme
modunu etkinleştirdiğinde hem generate hem de bildirilmiş edit
kapsamını çalıştırır. Güncel kapsam:
google:generateveeditfal: yalnızcagenerateminimax: yalnızcagenerateopenrouter:generateveeditcomfy: paylaşılan sağlayıcı taramasının parçası olmayan ayrı Comfy canlı kapsamı
Birlikte sunulan ComfyUI müzik yolu için isteğe bağlı canlı kapsam:
OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.tsComfy canlı dosyası, ilgili bölümler yapılandırıldığında Comfy görsel ve video iş akışlarını da kapsar.
İlgili
- Arka plan görevleri — ayrılmış
music_generateçalıştırmaları için görev izleme - ComfyUI
- Yapılandırma referansı —
musicGenerationModelyapılandırması - Google (Gemini)
- MiniMax
- Modeller — model yapılandırması ve yük devretme
- Araçlara genel bakış