تولید موسیقی

پرامپت تولید موسیقی. برای action: "generate" الزامی است.

"status" وظیفهٔ نشست فعلی را برمی‌گرداند؛ "list" ارائه‌دهندگان را بررسی می‌کند.

بازنویسی ارائه‌دهنده/مدل (برای مثال google/lyria-3-pro-preview، comfy/workflow).

متن ترانهٔ اختیاری، وقتی ارائه‌دهنده از ورودی صریح متن ترانه پشتیبانی می‌کند.

درخواست خروجی فقط بی‌کلام، وقتی ارائه‌دهنده از آن پشتیبانی می‌کند.

مسیر یا URL یک تصویر مرجع.

چند تصویر مرجع (حداکثر 10 تصویر در ارائه‌دهندگان پشتیبان).

مدت‌زمان هدف برحسب ثانیه، وقتی ارائه‌دهنده از راهنمای مدت‌زمان پشتیبانی می‌کند.

راهنمای قالب خروجی، وقتی ارائه‌دهنده از آن پشتیبانی می‌کند.

مهلت زمانی درخواست ارائه‌دهنده فقط در پیکربندی اپراتور تعریف می‌شود. OpenClaw در صورت پیکربندی از agents.defaults.mediaModels.music.timeoutMs استفاده می‌کند، مقادیر کمتر از 120000ms را به 120000ms افزایش می‌دهد و در غیر این صورت مهلت پیش‌فرض درخواست ارائه‌دهنده را 300000ms در نظر می‌گیرد.

رفتار ناهمگام

تولید موسیقی مبتنی بر نشست به‌صورت یک وظیفهٔ پس‌زمینه اجرا می‌شود:

• وظیفهٔ پس‌زمینه: music_generate یک وظیفهٔ پس‌زمینه ایجاد می‌کند، پاسخ آغازشده/وظیفه را فوراً برمی‌گرداند و قطعهٔ نهایی را بعداً در یک پیام پیگیری عامل ارسال می‌کند.
• جلوگیری از تکرار: تا وقتی یک وظیفه در حالت queued یا running باشد، فراخوانی‌های بعدی music_generate در همان نشست به‌جای آغاز تولیدی دیگر، وضعیت وظیفه را برمی‌گردانند. برای بررسی صریح از action: "status" استفاده کنید. یک درخواست منطبق که به‌تازگی تکمیل شده باشد نیز برای 2 دقیقه تکرارزدایی می‌شود.
• بررسی وضعیت: openclaw tasks list یا openclaw tasks show <taskId> وضعیت در صف، در حال اجرا و نهایی را بررسی می‌کند.
• بیدارسازی تکمیل: OpenClaw یک رویداد تکمیل داخلی را دوباره به همان نشست تزریق می‌کند تا مدل بتواند پیام پیگیری قابل‌مشاهده برای کاربر را خودش بنویسد.
• راهنمای پرامپت: گردش‌های بعدی کاربر/دستی در همان نشست، وقتی وظیفهٔ موسیقی از قبل در حال اجرا است، یک راهنمای کوچک زمان اجرا دریافت می‌کنند تا مدل کورکورانه دوباره music_generate را فراخوانی نکند.
• جایگزین بدون نشست: زمینه‌های مستقیم/محلی بدون نشست واقعی عامل، به‌صورت درون‌خطی اجرا می‌شوند و نتیجهٔ نهایی صوتی را در همان گردش برمی‌گردانند.

چرخهٔ عمر وظیفه

وظیفهٔ موسیقی همان وضعیت‌های رجیستری عمومی وظایف را ارائه می‌کند (برای ماشین حالت کامل، شامل timed_out، cancelled و lost، به وظایف پس‌زمینه مراجعه کنید). بیشتر اجراهای موسیقی از این وضعیت‌ها عبور می‌کنند:

وضعیت را از CLI بررسی کنید:

openclaw tasks listopenclaw tasks show <taskId>openclaw tasks cancel <taskId>

پیکربندی

انتخاب مدل

{  agents: {    defaults: {      musicGenerationModel: {        primary: "google/lyria-3-clip-preview",        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],      },    },  },}

ترتیب انتخاب ارائه‌دهنده

OpenClaw ارائه‌دهندگان را به این ترتیب امتحان می‌کند:

1. پارامتر model از فراخوانی ابزار (اگر عامل یکی را مشخص کند).
2. musicGenerationModel.primary از پیکربندی.
3. musicGenerationModel.fallbacks به‌ترتیب.
4. تشخیص خودکار فقط با استفاده از پیش‌فرض‌های ارائه‌دهندهٔ مبتنی بر احراز هویت:
   • ابتدا ارائه‌دهندهٔ فعلی مدل متنی پیش‌فرض، اگر تولید موسیقی را نیز ارائه دهد؛
   • سایر ارائه‌دهندگان ثبت‌شدهٔ تولید موسیقی، به‌ترتیب الفبایی شناسهٔ ارائه‌دهنده.

اگر یک ارائه‌دهنده شکست بخورد، گزینهٔ بعدی به‌طور خودکار امتحان می‌شود. اگر همه شکست بخورند، خطا شامل جزئیات هر تلاش خواهد بود.

جایگزینی خودکار میان ارائه‌دهندگان احراز هویت‌شده همیشه فعال است. مقدار model در هر فراخوانی همچنان مرجع نهایی است.

نکات ارائه‌دهندگان

انتخاب مسیر مناسب

• مبتنی بر ارائه‌دهنده مشترک، زمانی که انتخاب مدل، جایگزینی ارائه‌دهنده در صورت خرابی و جریان داخلی ناهمگام وظیفه/وضعیت را می‌خواهید.
• مسیر Plugin ‏(ComfyUI)، زمانی که به گراف گردش‌کار سفارشی یا ارائه‌دهنده‌ای نیاز دارید که بخشی از قابلیت همراه و مشترک موسیقی نیست.

اگر رفتار ویژه ComfyUI را اشکال‌زدایی می‌کنید، به ComfyUI مراجعه کنید. اگر رفتار ارائه‌دهنده مشترک را اشکال‌زدایی می‌کنید، از fal، Google (Gemini)، MiniMax یا OpenRouter شروع کنید.

حالت‌های قابلیت ارائه‌دهنده

قرارداد مشترک تولید موسیقی از اعلان صریح حالت‌ها پشتیبانی می‌کند:

• generate برای تولید فقط با پرامپت.
• edit هنگامی که درخواست شامل یک یا چند تصویر مرجع است.

پیاده‌سازی‌های جدید ارائه‌دهنده باید بلوک‌های صریح حالت را ترجیح دهند:

capabilities: {  generate: {    maxTracks: 1,    supportsLyrics: true,    supportsFormat: true,  },  edit: {    enabled: true,    maxTracks: 1,    maxInputImages: 1,    supportsFormat: true,  },}

فیلدهای مسطح قدیمی مانند maxInputImages، supportsLyrics و supportsFormat برای اعلام پشتیبانی از ویرایش کافی نیستند. ارائه‌دهندگان باید generate و edit را صراحتاً اعلام کنند تا آزمون‌های زنده، آزمون‌های قرارداد و ابزار مشترک music_generate بتوانند پشتیبانی از حالت را به‌صورت قطعی اعتبارسنجی کنند.

آزمون‌های زنده

پوشش زنده اختیاری برای ارائه‌دهندگان همراه و مشترک (fal، Google، MiniMax، OpenRouter):

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

پوسته معادل مخزن که همان فایل آزمون را اجرا می‌کند:

pnpm test:live:media:music

این فایل زنده به‌طور پیش‌فرض متغیرهای محیطی از پیش صادرشده ارائه‌دهنده را بر پروفایل‌های احراز هویت ذخیره‌شده مقدم می‌داند و وقتی ارائه‌دهنده حالت ویرایش را فعال می‌کند، پوشش generate و edit اعلام‌شده را اجرا می‌کند. پوشش فعلی:

• google: ‏generate به‌علاوه edit
• fal: فقط generate
• minimax: فقط generate
• openrouter: ‏generate به‌علاوه edit
• comfy: پوشش زنده جداگانه Comfy، خارج از پیمایش ارائه‌دهندگان مشترک

پوشش زنده اختیاری برای مسیر همراه موسیقی ComfyUI:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

فایل زنده Comfy در صورت پیکربندی آن بخش‌ها، گردش‌کارهای تصویر و ویدیوی comfy را نیز پوشش می‌دهد.

مرتبط

• وظایف پس‌زمینه — رهگیری وظیفه برای اجراهای جداشده music_generate
• ComfyUI
• مرجع پیکربندی — پیکربندی musicGenerationModel
• Google (Gemini)
• MiniMax
• مدل‌ها — پیکربندی مدل و جایگزینی در صورت خرابی
• نمای کلی ابزارها