Ana içeriğe atla

Documentation Index

Fetch the complete documentation index at: https://docs.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

music_generate aracı, ajanın yapılandırılmış sağlayıcılarla paylaşılan müzik üretimi yeteneği üzerinden müzik veya ses oluşturmasını sağlar — bugün Google, MiniMax ve iş akışıyla yapılandırılmış ComfyUI. Oturum destekli ajan çalıştırmaları için OpenClaw müzik üretimini bir arka plan görevi olarak başlatır, bunu görev defterinde izler, ardından parça hazır olduğunda ajanı yeniden uyandırır; böylece ajan kullanıcıya haber verebilir ve tamamlanan sesi ekleyebilir. Yalnızca mesaj aracıyla görünür teslim kullanan grup/kanal sohbetlerinde ajan sonucu mesaj aracı üzerinden iletir. Tamamlama ajanı yalnızca özel bir final yanıtı yazarsa OpenClaw, oluşturulan medyayla doğrudan kanal gönderimine geri döner. Tamamlama uyandırması, ajana normal final yanıtlarının bu rotalarda özel olduğunu açıkça bildirir.
Yerleşik paylaşılan araç yalnızca en az bir müzik üretimi sağlayıcısı kullanılabilir olduğunda görünür. Ajanınızın araçlarında music_generate görmüyorsanız agents.defaults.musicGenerationModel yapılandırın veya bir sağlayıcı API anahtarı ayarlayın.

Hızlı başlangıç

1

Kimlik doğrulamayı yapılandırın

En az bir sağlayıcı için bir API anahtarı ayarlayın — örneğin GEMINI_API_KEY veya MINIMAX_API_KEY.
2

Varsayılan bir model seçin (isteğe bağlı)

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}
3

Ajana sorun

“Neon bir şehirde gece sürüşü hakkında enerjik bir synthpop parçası oluştur.”Ajan music_generate aracını otomatik olarak çağırır. Araç izin listesine ekleme gerekmez.
Oturum destekli ajan çalıştırması olmayan doğrudan senkron bağlamlarda, yerleşik araç yine satır içi üretime geri döner ve araç sonucunda final medya yolunu döndürür.
Örnek istemler:
Generate a cinematic piano track with soft strings and no vocals.
Generate an energetic chiptune loop about launching a rocket at sunrise.

Desteklenen sağlayıcılar

SağlayıcıVarsayılan modelReferans girdileriDesteklenen kontrollerKimlik doğrulama
ComfyUIworkflowEn fazla 1 görselİş akışıyla tanımlanan müzik veya sesCOMFY_API_KEY, COMFY_CLOUD_API_KEY
Googlelyria-3-clip-previewEn fazla 10 görsellyrics, instrumental, formatGEMINI_API_KEY, GOOGLE_API_KEY
MiniMaxmusic-2.6Yoklyrics, instrumental, durationSeconds, format=mp3MINIMAX_API_KEY veya MiniMax OAuth

Yetenek matrisi

music_generate, sözleşme testleri ve paylaşılan canlı tarama tarafından kullanılan açık mod sözleşmesi:
SağlayıcıgenerateeditDüzenleme sınırıPaylaşılan canlı hatlar
ComfyUI1 görselPaylaşılan taramada yok; extensions/comfy/comfy.live.test.ts kapsamındadır
Google10 görselgenerate, edit
MiniMaxYokgenerate
Çalışma zamanında kullanılabilir paylaşılan sağlayıcıları ve modelleri incelemek için action: "list" kullanın:
/tool music_generate action=list
Etkin oturum destekli müzik görevini incelemek için action: "status" kullanın:
/tool music_generate action=status
Doğrudan üretim örneği:
/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true

Araç parametreleri

prompt
string
gerekli
Müzik üretimi istemi. action: "generate" için gereklidir.
action
"generate" | "status" | "list"
varsayılan:"generate"
"status" geçerli oturum görevini döndürür; "list" sağlayıcıları inceler.
model
string
Sağlayıcı/model geçersiz kılma (ör. google/lyria-3-pro-preview, comfy/workflow).
lyrics
string
Sağlayıcı açık söz girdisini desteklediğinde isteğe bağlı şarkı sözleri.
instrumental
boolean
Sağlayıcı desteklediğinde yalnızca enstrümantal çıktı isteyin.
image
string
Tek referans görsel yolu veya URL.
images
string[]
Birden çok referans görseli (destekleyen sağlayıcılarda en fazla 10).
durationSeconds
number
Sağlayıcı süre ipuçlarını desteklediğinde saniye cinsinden hedef süre.
format
"mp3" | "wav"
Sağlayıcı desteklediğinde çıktı biçimi ipucu.
filename
string
Çıktı dosya adı ipucu.
timeoutMs
number
Milisaniye cinsinden isteğe bağlı sağlayıcı istek zaman aşımı. Atlandığında OpenClaw, yapılandırılmışsa agents.defaults.musicGenerationModel.timeoutMs değerini kullanır. 10000ms altındaki değerler 10000ms değerine yükseltilir ve araç sonucunda raporlanır.
Tüm sağlayıcılar tüm parametreleri desteklemez. OpenClaw yine de gönderimden önce girdi sayıları gibi katı sınırları doğrular. Bir sağlayıcı süreyi destekleyip istenen değerden daha kısa bir maksimum kullanıyorsa OpenClaw en yakın desteklenen süreye sınırlar. Gerçekten desteklenmeyen isteğe bağlı ipuçları, seçilen sağlayıcı veya model bunları karşılayamadığında bir uyarıyla yok sayılır. Araç sonuçları uygulanan ayarları raporlar; details.normalization istenenden uygulanana yapılan eşlemeleri yakalar.

Zaman uyumsuz davranış

Oturum destekli müzik üretimi bir arka plan görevi olarak çalışır:
  • Arka plan görevi: music_generate bir arka plan görevi oluşturur, başlatıldı/görev yanıtını hemen döndürür ve tamamlanan parçayı daha sonra takip eden bir ajan mesajında gönderir.
  • Yinelenmeyi önleme: bir görev queued veya running durumundayken aynı oturumdaki sonraki music_generate çağrıları başka bir üretim başlatmak yerine görev durumunu döndürür. Açıkça kontrol etmek için action: "status" kullanın.
  • Durum araması: openclaw tasks list veya openclaw tasks show <taskId> kuyruğa alınmış, çalışan ve terminal durumları inceler.
  • Tamamlama uyandırması: OpenClaw, modelin kullanıcıya yönelik takip yanıtını kendisinin yazabilmesi için aynı oturuma dahili bir tamamlama olayı enjekte eder.
  • İstem ipucu: aynı oturumdaki sonraki kullanıcı/manuel dönüşler, bir müzik görevi zaten sürüyorsa küçük bir çalışma zamanı ipucu alır; böylece model körlemesine yeniden music_generate çağırmaz.
  • Oturumsuz geri dönüş: gerçek ajan oturumu olmayan doğrudan/yerel bağlamlar satır içi çalışır ve final ses sonucunu aynı dönüşte döndürür.

Görev yaşam döngüsü

DurumAnlamı
queuedGörev oluşturuldu, sağlayıcının kabul etmesi bekleniyor.
runningSağlayıcı işliyor (sağlayıcıya ve süreye bağlı olarak genellikle 30 saniye ila 3 dakika).
succeededParça hazır; ajan uyanır ve bunu konuşmaya gönderir.
failedSağlayıcı hatası veya zaman aşımı; ajan hata ayrıntılarıyla uyanır.
Durumu CLI’dan kontrol edin:
openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

Yapılandırma

Model seçimi

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.6"],
      },
    },
  },
}

Sağlayıcı seçim sırası

OpenClaw sağlayıcıları şu sırayla dener:
  1. Araç çağrısından gelen model parametresi (ajan bir tane belirtirse).
  2. Yapılandırmadan musicGenerationModel.primary.
  3. Sırayla musicGenerationModel.fallbacks.
  4. Yalnızca kimlik doğrulama destekli sağlayıcı varsayılanlarını kullanarak otomatik algılama:
    • önce geçerli varsayılan sağlayıcı;
    • kalan kayıtlı müzik üretimi sağlayıcıları, sağlayıcı kimliği sırasına göre.
Bir sağlayıcı başarısız olursa sonraki aday otomatik olarak denenir. Tümü başarısız olursa hata, her denemeden ayrıntılar içerir. Yalnızca açık model, primary ve fallbacks girdilerini kullanmak için agents.defaults.mediaGenerationAutoProviderFallback: false ayarlayın.

Sağlayıcı notları

İş akışı güdümlüdür ve istem/çıktı alanları için yapılandırılmış grafa ve düğüm eşlemesine bağlıdır. Paketle birlikte gelen comfy Plugin’i, müzik üretimi sağlayıcı kayıt defteri üzerinden paylaşılan music_generate aracına bağlanır.
Lyria 3 toplu üretimini kullanır. Geçerli paketlenmiş akış istemi, isteğe bağlı şarkı sözü metnini ve isteğe bağlı referans görselleri destekler.
Toplu music_generation uç noktasını kullanır. İstem, isteğe bağlı şarkı sözleri, enstrümantal mod, süre yönlendirmesi ve minimax API anahtarı kimlik doğrulaması ya da minimax-portal OAuth üzerinden mp3 çıktısını destekler.

Doğru yolu seçme

  • Paylaşılan sağlayıcı destekli, model seçimi, sağlayıcı devretmesi ve yerleşik zaman uyumsuz görev/durum akışı istediğinizde.
  • Plugin yolu (ComfyUI), özel bir iş akışı grafiğine veya paylaşılan paketlenmiş müzik yeteneğinin parçası olmayan bir sağlayıcıya ihtiyaç duyduğunuzda.
ComfyUI’ye özgü davranışta hata ayıklıyorsanız ComfyUI bölümüne bakın. Paylaşılan sağlayıcı davranışında hata ayıklıyorsanız Google (Gemini) veya MiniMax ile başlayın.

Sağlayıcı yetenek modları

Paylaşılan müzik üretimi sözleşmesi açık mod bildirimlerini destekler:
  • Yalnızca istemle üretim için generate.
  • İstek bir veya daha fazla referans görsel içerdiğinde edit.
Yeni sağlayıcı uygulamaları açık mod bloklarını tercih etmelidir:
capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}
maxInputImages, supportsLyrics ve supportsFormat gibi eski düz alanlar düzenleme desteğini duyurmak için yeterli değildir. Sağlayıcılar generate ve edit öğelerini açıkça bildirmelidir; böylece canlı testler, sözleşme testleri ve paylaşılan music_generate aracı mod desteğini deterministik biçimde doğrulayabilir.

Canlı testler

Paylaşılan paketlenmiş sağlayıcılar için isteğe bağlı canlı kapsam:
OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts
Repo sarmalayıcısı:
pnpm test:live:media music
Bu canlı dosya eksik sağlayıcı ortam değişkenlerini ~/.profile içinden yükler, varsayılan olarak kayıtlı kimlik doğrulama profillerinden önce canlı/ortam API anahtarlarını tercih eder ve sağlayıcı düzenleme modunu etkinleştirdiğinde hem generate hem de bildirilen edit kapsamını çalıştırır. Mevcut kapsam:
  • google: generate ve edit
  • minimax: yalnızca generate
  • comfy: paylaşılan sağlayıcı taraması değil, ayrı Comfy canlı kapsamı
Paketle gelen ComfyUI müzik yolu için isteğe bağlı canlı kapsam:
OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
Comfy canlı dosyası, bu bölümler yapılandırıldığında comfy görüntü ve video iş akışlarını da kapsar.

İlgili