Tools

メディアの概要

OpenClaw は画像、動画、音楽を生成し、受信メディア（画像、音声、動画）を理解し、テキスト読み上げで応答を音声化します。すべてのメディア機能はツール駆動です。エージェントは会話に基づいて使用するタイミングを判断し、各ツールは少なくとも 1 つの基盤プロバイダーが設定されている場合にのみ表示されます。

ライブ音声では、単発のメディアツール経路ではなく Talk セッション契約を使用します。 Talk には 3 つのモードがあります。プロバイダーネイティブの realtime、ローカルまたはストリーミングの stt-tts、観察専用の音声キャプチャ用の transcription です。これらのモードは、テレフォニー、会議、ブラウザーのリアルタイム機能、ネイティブのプッシュトゥトーククライアントと、プロバイダーカタログ、イベントエンベロープ、キャンセルのセマンティクスを共有します。

機能

画像生成

テキストプロンプトまたは参照画像から image_generate を介して画像を作成および編集します。チャットセッションでは非同期で、バックグラウンドで実行され、準備が整うと結果を投稿します。

動画生成

video_generate を介したテキストから動画、画像から動画、動画から動画への変換です。非同期で、バックグラウンドで実行され、準備が整うと結果を投稿します。

音楽生成

music_generate を介して音楽または音声トラックを生成します。チャットセッションでは、共有メディア生成タスクのライフサイクル上で非同期に実行されます。

テキスト読み上げ

tts ツールと tts 設定を使用して、送信応答を音声に変換します。同期処理です。

メディア理解

視覚対応モデルプロバイダーと専用のメディア理解 Plugin を使用して、受信した画像、音声、動画を要約します。

音声テキスト変換

バッチ STT または Voice Call のストリーミング STT プロバイダーを介して、受信した音声メッセージを文字起こしします。

プロバイダー機能マトリックス

プロバイダー	画像	動画	音楽	TTS	STT	リアルタイム音声	メディア理解
Alibaba		✓
Azure Speech				✓
BytePlus		✓
ComfyUI	✓	✓	✓
Deepgram					✓
DeepInfra	✓	✓		✓	✓		✓
ElevenLabs				✓	✓
fal	✓	✓	✓
Google	✓	✓	✓	✓	✓	✓	✓
Gradium				✓
Inworld				✓
LiteLLM	✓
Local CLI				✓
Microsoft				✓
Microsoft Foundry	✓
MiniMax	✓	✓	✓	✓
Mistral					✓
OpenAI	✓	✓		✓	✓	✓	✓
OpenRouter	✓	✓	✓	✓	✓		✓
PixVerse		✓
Qwen		✓					✓
Runway		✓
SenseAudio					✓
Together		✓
Volcengine				✓
Vydra	✓	✓		✓
xAI	✓	✓		✓	✓		✓
Xiaomi MiMo				✓

非同期と同期

機能	モード	理由
画像	非同期	プロバイダーの処理がチャットターンより長く続く可能性があり、生成された添付ファイルは共有完了経路を使用します。
テキスト読み上げ	同期	プロバイダーの応答は数秒で返され、応答音声に添付されます。
動画	非同期	プロバイダーの処理には 30 s から数分かかり、低速なキューは設定されたタイムアウトまで実行される場合があります。
音楽	非同期	動画と同じプロバイダー処理特性です。

非同期ツールでは、OpenClaw はリクエストをプロバイダーに送信し、タスク id をすぐに返して、タスク台帳でジョブを追跡します。ジョブの実行中も、エージェントは他のメッセージへの応答を続けます。プロバイダーの処理が完了すると、 OpenClaw は生成されたメディアのパスとともにエージェントを起動し、セッションの通常の可視応答モードでユーザーに通知できるようにします。設定されている場合は最終応答を自動配信し、セッションでメッセージツールが必要な場合は message(action="send") を使用します。リクエスト元のセッションが非アクティブであるか、アクティブな起動に失敗し、生成されたメディアの一部が完了応答に含まれていない場合、OpenClaw は不足しているメディアのみを含む冪等な直接フォールバックを送信します。完了応答ですでに配信されたメディアは再投稿されません。

音声テキスト変換と Voice Call

Deepgram、DeepInfra、ElevenLabs、Google、Groq、Mistral、OpenAI、OpenRouter、 SenseAudio、xAI は、設定されている場合、すべてバッチ tools.media.audio 経路を通じて受信音声を文字起こしできます。メンションゲーティングやコマンド解析のために音声メモを事前処理するチャンネル Plugin は、文字起こし済みの添付ファイルを受信コンテキストに記録するため、共有メディア理解処理では同じ音声に対して 2 回目の STT 呼び出しを行わず、その文字起こしを再利用します。

Deepgram、ElevenLabs、Mistral、OpenAI、xAI は Voice Call のストリーミング STT プロバイダーも登録しているため、録音の完了を待たずにライブ通話音声を選択したベンダーへ転送できます。

ライブのユーザー会話では、Talk モードを推奨します。バッチ音声添付ファイルはメディア経路に留めます。ブラウザーのリアルタイム機能、ネイティブのプッシュトゥトーク、テレフォニー、会議音声では、Talk イベントと Gateway が返すセッションスコープのカタログを使用する必要があります。

プロバイダーマッピング（各ベンダーの機能面への分割方法）

Google

画像、動画、音楽、バッチ TTS、バッチ STT、バックエンドのリアルタイム音声、メディア理解の各機能面を提供します。

OpenAI

画像、動画、バッチ TTS、バッチ STT、Voice Call のストリーミング STT、バックエンドのリアルタイム音声、メモリ埋め込みの各機能面を提供します。

DeepInfra

チャット／モデルルーティング、画像生成／編集、テキストから動画への変換、バッチ TTS、バッチ STT、画像メディア理解、メモリ埋め込みの各機能面を提供します。 DeepInfra は再ランキング、分類、物体検出などのネイティブモデルタイプも公開していますが、OpenClaw にはそれらのカテゴリ向けのプロバイダー契約がまだないため、この Plugin は登録しません。

xAI

画像、動画、検索、コード実行、バッチ TTS、バッチ STT、Voice Call のストリーミング STT を提供します。xAI のリアルタイム音声はアップストリームの機能ですが、共有リアルタイム音声契約で表現できるようになるまで OpenClaw には登録されません。

このページの内容