Tools
Medyaya genel bakış
OpenClaw görüntüler, videolar ve müzik oluşturur, gelen medyayı (görüntüler, ses, video) anlar ve metinden konuşmaya özelliğiyle yanıtları sesli olarak söyler. Tüm medya yetenekleri araçlarla çalışır: agent, konuşmaya göre bunları ne zaman kullanacağına karar verir ve her araç yalnızca onu destekleyen en az bir sağlayıcı yapılandırıldığında görünür.
Canlı konuşma, tek seferlik medya aracı yolu yerine Talk oturumu sözleşmesini
kullanır. Talk'ın üç modu vardır: sağlayıcıya özgü realtime, yerel veya akışlı
stt-tts ve yalnızca gözlem amaçlı konuşma yakalama için transcription. Bu modlar
sağlayıcı kataloglarını, olay zarflarını ve iptal semantiğini telefon,
toplantı, tarayıcı gerçek zamanlı ve yerel bas-konuş istemcileriyle paylaşır.
Yetenekler
image_generate aracılığıyla metin istemlerinden veya referans görüntülerden
görüntüler oluşturun ve düzenleyin. Sohbet oturumlarında eşzamansızdır — arka
planda çalışır ve hazır olduğunda sonucu gönderir.
video_generate aracılığıyla metinden videoya, görüntüden videoya ve videodan
videoya dönüştürme. Eşzamansızdır — arka planda çalışır ve hazır olduğunda sonucu gönderir.
music_generate aracılığıyla müzik veya ses parçaları oluşturun. Sohbet
oturumlarında, paylaşılan medya oluşturma görevi yaşam döngüsünde eşzamansızdır.
tts aracı ve tts yapılandırması aracılığıyla giden
yanıtları konuşma sesine dönüştürün. Eşzamanlıdır.
Gelen görüntüleri, sesleri ve videoları görsel yetenekli model sağlayıcılarını ve özel medya anlama pluginlerini kullanarak özetleyin.
Gelen sesli mesajları toplu STT veya Voice Call akışlı STT sağlayıcıları aracılığıyla yazıya dökün.
Sağlayıcı yetenek matrisi
| Sağlayıcı | Görüntü | Video | Müzik | TTS | STT | Gerçek zamanlı ses | Medya anlama |
|---|---|---|---|---|---|---|---|
| Alibaba | ✓ | ||||||
| Azure Speech | ✓ | ||||||
| BytePlus | ✓ | ||||||
| ComfyUI | ✓ | ✓ | ✓ | ||||
| Deepgram | ✓ | ||||||
| DeepInfra | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| ElevenLabs | ✓ | ✓ | |||||
| fal | ✓ | ✓ | ✓ | ||||
| ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| Gradium | ✓ | ||||||
| Inworld | ✓ | ||||||
| LiteLLM | ✓ | ||||||
| Yerel CLI | ✓ | ||||||
| Microsoft | ✓ | ||||||
| Microsoft Foundry | ✓ | ||||||
| MiniMax | ✓ | ✓ | ✓ | ✓ | |||
| Mistral | ✓ | ||||||
| OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| OpenRouter | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| PixVerse | ✓ | ||||||
| Qwen | ✓ | ✓ | |||||
| Runway | ✓ | ||||||
| SenseAudio | ✓ | ||||||
| Together | ✓ | ||||||
| Volcengine | ✓ | ||||||
| Vydra | ✓ | ✓ | ✓ | ||||
| xAI | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Xiaomi MiMo | ✓ |
Eşzamansız ve eşzamanlı
| Yetenek | Mod | Nedeni |
|---|---|---|
| Görüntü | Eşzamansız | Sağlayıcı işlemesi bir sohbet turundan daha uzun sürebilir; oluşturulan ekler paylaşılan tamamlama yolunu kullanır. |
| Metinden konuşmaya | Eşzamanlı | Sağlayıcı yanıtları saniyeler içinde döner; yanıt sesine eklenir. |
| Video | Eşzamansız | Sağlayıcı işlemesi 30 s ile birkaç dakika sürer; yavaş kuyruklar yapılandırılan zaman aşımına kadar çalışabilir. |
| Müzik | Eşzamansız | Videoyla aynı sağlayıcı işleme özelliğine sahiptir. |
Eşzamansız araçlarda OpenClaw, isteği sağlayıcıya gönderir, hemen bir görev
kimliği döndürür ve işi görev defterinde izler. İş çalışırken agent diğer
mesajlara yanıt vermeye devam eder. Sağlayıcı işlemi tamamladığında OpenClaw,
oturumun normal görünür yanıt modu üzerinden kullanıcıyı bilgilendirebilmesi
için agent'ı oluşturulan medya yollarıyla uyandırır: yapılandırıldığında
otomatik nihai yanıt teslimi veya oturum mesaj aracını gerektirdiğinde
message(action="send"). İstek sahibi oturum etkin değilse ya da etkin uyandırması
başarısız olursa ve oluşturulan medyanın bir kısmı hâlâ tamamlama yanıtında
eksikse OpenClaw yalnızca eksik medyayı içeren eşgüçlü bir doğrudan yedek
gönderim yapar. Tamamlama yanıtıyla zaten teslim edilmiş medya yeniden gönderilmez.
Konuşmadan metne ve Voice Call
Deepgram, DeepInfra, ElevenLabs, Google, Groq, Mistral, OpenAI, OpenRouter,
SenseAudio ve xAI, yapılandırıldıklarında gelen sesleri toplu
tools.media.audio yolu üzerinden yazıya dökebilir. Bahsetme denetimi veya
komut ayrıştırma için bir sesli notu önceden denetleyen kanal pluginleri,
yazıya dökülmüş eki gelen bağlamda işaretler; böylece paylaşılan medya anlama
geçişi aynı ses için ikinci bir STT çağrısı yapmak yerine bu dökümü yeniden
kullanır.
Deepgram, ElevenLabs, Mistral, OpenAI ve xAI ayrıca Voice Call akışlı STT sağlayıcılarını kaydeder; böylece canlı telefon sesi, tamamlanmış bir kayıt beklenmeden seçilen satıcıya iletilebilir.
Canlı kullanıcı konuşmaları için Talk modunu tercih edin. Toplu ses ekleri medya yolunda kalır; tarayıcı gerçek zamanlı sesi, yerel bas-konuş, telefon ve toplantı sesleri Talk olaylarını ve Gateway tarafından döndürülen oturum kapsamlı katalogları kullanmalıdır.
Sağlayıcı eşlemeleri (satıcıların yüzeylere dağılımı)
Görüntü, video, müzik, toplu TTS, toplu STT, arka uç gerçek zamanlı ses ve medya anlama yüzeyleri.
OpenAI
Görüntü, video, toplu TTS, toplu STT, Voice Call akışlı STT, arka uç gerçek zamanlı ses ve bellek gömme yüzeyleri.
DeepInfra
Sohbet/model yönlendirme, görüntü oluşturma/düzenleme, metinden videoya, toplu TTS, toplu STT, görüntü medyası anlama ve bellek gömme yüzeyleri. DeepInfra ayrıca yeniden sıralama, sınıflandırma, nesne algılama ve diğer yerel model türlerini sunar; OpenClaw henüz bu kategoriler için bir sağlayıcı sözleşmesine sahip olmadığından bu plugin bunları kaydetmez.
xAI
Görüntü, video, arama, kod yürütme, toplu TTS, toplu STT ve Voice Call akışlı STT. xAI Realtime ses, üst kaynakta bulunan bir yetenektir ancak paylaşılan gerçek zamanlı ses sözleşmesi bunu temsil edebilene kadar OpenClaw'da kaydedilmez.
