Tools
Omówienie mediów
OpenClaw generuje obrazy, filmy i muzykę, rozumie przychodzące multimedia (obrazy, audio, wideo) i odczytuje odpowiedzi na głos za pomocą zamiany tekstu na mowę. Wszystkie możliwości multimedialne są obsługiwane przez narzędzia: agent decyduje, kiedy ich użyć na podstawie rozmowy, a każde narzędzie pojawia się tylko wtedy, gdy skonfigurowano co najmniej jednego wspierającego je dostawcę.
Mowa na żywo używa kontraktu sesji Talk zamiast ścieżki jednorazowego narzędzia
multimedialnego. Talk ma trzy tryby: natywny dla dostawcy realtime, lokalny
lub strumieniowy stt-tts oraz transcription do przechwytywania mowy tylko
w trybie obserwacji. Te tryby współdzielą katalogi dostawców, koperty zdarzeń
i semantykę anulowania z telefonią, spotkaniami, trybem czasu rzeczywistego
w przeglądarce oraz natywnymi klientami push-to-talk.
Możliwości
Twórz i edytuj obrazy na podstawie promptów tekstowych lub obrazów
referencyjnych przez image_generate. Asynchroniczne w sesjach czatu —
działa w tle i publikuje wynik, gdy będzie gotowy.
Tekst-na-wideo, obraz-na-wideo i wideo-na-wideo przez video_generate.
Asynchroniczne — działa w tle i publikuje wynik, gdy będzie gotowy.
Generuj muzykę lub ścieżki audio przez music_generate. Asynchroniczne
w sesjach czatu we współdzielonym cyklu życia zadań generowania multimediów.
Konwertuj wychodzące odpowiedzi na mówione audio za pomocą narzędzia tts
oraz konfiguracji messages.tts. Synchroniczne.
Streszczaj przychodzące obrazy, audio i wideo za pomocą dostawców modeli obsługujących wizję oraz dedykowanych pluginów rozumienia multimediów.
Transkrybuj przychodzące wiadomości głosowe przez wsadowych dostawców STT albo strumieniowych dostawców STT Voice Call.
Macierz możliwości dostawców
| Dostawca | Obraz | Wideo | Muzyka | TTS | STT | Głos w czasie rzeczywistym | Rozumienie multimediów |
|---|---|---|---|---|---|---|---|
| Alibaba | ✓ | ||||||
| BytePlus | ✓ | ||||||
| ComfyUI | ✓ | ✓ | ✓ | ||||
| DeepInfra | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Deepgram | ✓ | ✓ | |||||
| ElevenLabs | ✓ | ✓ | |||||
| fal | ✓ | ✓ | ✓ | ||||
| ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Gradium | ✓ | ||||||
| Local CLI | ✓ | ||||||
| Microsoft | ✓ | ||||||
| Microsoft Foundry | ✓ | ||||||
| MiniMax | ✓ | ✓ | ✓ | ✓ | |||
| Mistral | ✓ | ||||||
| OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| OpenRouter | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| Qwen | ✓ | ||||||
| Runway | ✓ | ||||||
| SenseAudio | ✓ | ||||||
| Together | ✓ | ||||||
| Vydra | ✓ | ✓ | ✓ | ||||
| xAI | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Xiaomi MiMo | ✓ | ✓ | ✓ |
Asynchroniczne a synchroniczne
| Możliwość | Tryb | Dlaczego |
|---|---|---|
| Obraz | Asynchroniczne | Przetwarzanie u dostawcy może trwać dłużej niż tura czatu; wygenerowane załączniki używają współdzielonej ścieżki ukończenia. |
| Tekst na mowę | Synchroniczne | Odpowiedzi dostawcy wracają w kilka sekund; są dołączane do audio odpowiedzi. |
| Wideo | Asynchroniczne | Przetwarzanie u dostawcy trwa od 30 s do kilku minut; wolne kolejki mogą działać aż do skonfigurowanego limitu czasu. |
| Muzyka | Asynchroniczne | Taka sama charakterystyka przetwarzania u dostawcy jak w przypadku wideo. |
W przypadku narzędzi asynchronicznych OpenClaw wysyła żądanie do dostawcy,
natychmiast zwraca identyfikator zadania i śledzi pracę w rejestrze zadań.
Agent nadal odpowiada na inne wiadomości, gdy zadanie działa. Gdy dostawca
zakończy pracę, OpenClaw budzi agenta ze ścieżkami wygenerowanych multimediów,
aby mógł poinformować użytkownika przez normalny widoczny tryb odpowiedzi
sesji: automatyczne dostarczenie końcowej odpowiedzi, gdy jest skonfigurowane,
albo message(action="send"), gdy sesja wymaga narzędzia wiadomości. Jeśli
sesja żądająca jest nieaktywna albo jej aktywne wybudzenie się nie powiedzie,
a w odpowiedzi ukończenia nadal brakuje części wygenerowanych multimediów,
OpenClaw wysyła idempotentne bezpośrednie rozwiązanie awaryjne zawierające
tylko brakujące multimedia. Multimedia już dostarczone przez odpowiedź
ukończenia nie są publikowane ponownie.
Mowa na tekst i Voice Call
Deepgram, DeepInfra, ElevenLabs, Mistral, OpenAI, OpenRouter, SenseAudio i xAI mogą transkrybować
przychodzące audio przez wsadową ścieżkę tools.media.audio, gdy są
skonfigurowane. Pluginy kanałów, które wstępnie sprawdzają notatkę głosową
pod kątem bramkowania wzmianki lub parsowania poleceń, oznaczają
przetranskrybowany załącznik w kontekście przychodzącym, więc współdzielony
przebieg rozumienia multimediów używa ponownie tej transkrypcji zamiast
wykonywać drugie wywołanie STT dla tego samego audio.
Deepgram, ElevenLabs, Mistral, OpenAI i xAI rejestrują też strumieniowych dostawców STT Voice Call, więc audio z rozmowy telefonicznej na żywo może być przekazywane do wybranego dostawcy bez oczekiwania na ukończone nagranie.
W przypadku rozmów z użytkownikiem na żywo preferuj tryb Talk. Wsadowe załączniki audio pozostają na ścieżce multimediów; tryb czasu rzeczywistego w przeglądarce, natywny push-to-talk, telefonia i audio spotkań powinny używać zdarzeń Talk oraz katalogów o zakresie sesji zwracanych przez Gateway.
Mapowania dostawców (jak dostawcy dzielą się między powierzchniami)
Powierzchnie obrazów, wideo, muzyki, wsadowego TTS, backendowego głosu w czasie rzeczywistym oraz rozumienia multimediów.
OpenAI
Powierzchnie obrazów, wideo, wsadowego TTS, wsadowego STT, strumieniowego STT Voice Call, backendowego głosu w czasie rzeczywistym oraz osadzania pamięci.
DeepInfra
Powierzchnie routingu czatu/modelu, generowania/edycji obrazów, tekst-na-wideo, wsadowego TTS, wsadowego STT, rozumienia multimediów obrazowych oraz osadzania pamięci. Natywne dla DeepInfra modele ponownego rankingu/klasyfikacji/wykrywania obiektów nie są rejestrowane, dopóki OpenClaw nie będzie mieć dedykowanych kontraktów dostawców dla tych kategorii.
xAI
Obrazy, wideo, wyszukiwanie, wykonywanie kodu, wsadowe TTS, wsadowe STT oraz strumieniowe STT Voice Call. Głos xAI Realtime jest możliwością upstreamową, ale nie jest rejestrowany w OpenClaw, dopóki współdzielony kontrakt głosu w czasie rzeczywistym nie będzie mógł go reprezentować.
