Medya anlama

OpenClaw, yanıt işlem hattı çalışmadan önce gelen medyayı özetleyebilir (görüntü/ses/video). Yerel araçlar veya sağlayıcı anahtarları kullanılabilir olduğunda bunu otomatik algılar; devre dışı bırakılabilir veya özelleştirilebilir. Anlama kapalıysa modeller yine her zamanki gibi özgün dosyaları/URL'leri alır.

Satıcıya özgü medya davranışı satıcı Plugin'leri tarafından kaydedilirken OpenClaw çekirdeği paylaşılan tools.media yapılandırmasını, yedek sırasını ve yanıt işlem hattı entegrasyonunu yönetir.

Hedefler

• İsteğe bağlı: daha hızlı yönlendirme + daha iyi komut ayrıştırma için gelen medyayı kısa metne önceden sindir.
• Özgün medya teslimini modele koru (her zaman).
• sağlayıcı API'lerini ve CLI yedeklerini destekle.
• Sıralı yedekle birden çok modele izin ver (hata/boyut/zaman aşımı).

Üst düzey davranış

Anlama başarısız olursa veya devre dışıysa yanıt akışı, özgün gövde + eklerle devam eder.

Yapılandırmaya genel bakış

tools.media, yetenek başına geçersiz kılmaların yanında paylaşılan modelleri destekler:

{  tools: {    media: {      models: [        /* shared list */      ],      image: {        /* optional overrides */      },      audio: {        /* optional overrides */        echoTranscript: true,        echoFormat: '📝 "{transcript}"',      },      video: {        /* optional overrides */      },    },  },}

Model girdileri

Her models[] girdisi sağlayıcı veya CLI olabilir:

{  type: "provider", // default if omitted  provider: "openai",  model: "gpt-5.5",  prompt: "Describe the image in <= 500 chars.",  maxChars: 500,  maxBytes: 10485760,  timeoutSeconds: 60,  capabilities: ["image"], // optional, used for multi-modal entries  profile: "vision-profile",  preferredProfile: "vision-fallback",}

{  type: "cli",  command: "gemini",  args: [    "-m",    "gemini-3-flash",    "--allowed-tools",    "read_file",    "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",  ],  maxChars: 500,  maxBytes: 52428800,  timeoutSeconds: 120,  capabilities: ["video", "image"],}

Sağlayıcı kimlik bilgileri (apiKey)

Sağlayıcı medya anlaması, normal model çağrılarıyla aynı sağlayıcı kimlik doğrulama çözümlemesini kullanır: kimlik doğrulama profilleri, ortam değişkenleri, ardından models.providers.<providerId>.apiKey.

tools.media.*.models[] girdileri satır içi apiKey alanını kabul etmez. Bir medya model girdisindeki openai veya moonshot gibi provider değerinin standart sağlayıcı kimlik doğrulama kaynaklarından biri üzerinden kullanılabilir kimlik bilgilerine sahip olması gerekir.

En küçük örnek:

{  models: {    providers: {      openai: { apiKey: "<OPENAI_API_KEY>" },      moonshot: { apiKey: "<MOONSHOT_API_KEY>" },    },  },}

Profiller, ortam değişkenleri ve özel temel URL'ler dahil tam sağlayıcı kimlik doğrulama başvurusu için bkz. Araçlar ve özel sağlayıcılar.

Varsayılanlar ve sınırlar

Önerilen varsayılanlar:

• maxChars: görüntü/video için 500 (kısa, komut dostu)
• maxChars: ses için ayarlanmamış (sınır koymadığınız sürece tam transkript)
• maxBytes:
  • görüntü: 10MB
  • ses: 20MB
  • video: 50MB

Medya anlamayı otomatik algıla (varsayılan)

tools.media.<capability>.enabled, false olarak ayarlanmamışsa ve model yapılandırmadıysanız OpenClaw bu sırayla otomatik algılar ve ilk çalışan seçenekte durur:

Otomatik algılamayı devre dışı bırakmak için şunu ayarlayın:

{  tools: {    media: {      audio: {        enabled: false,      },    },  },}

Proxy ortam desteği (sağlayıcı modelleri)

Sağlayıcı tabanlı ses ve video medya anlaması etkinleştirildiğinde OpenClaw, sağlayıcı HTTP çağrıları için standart giden proxy ortam değişkenlerini dikkate alır:

• HTTPS_PROXY
• HTTP_PROXY
• ALL_PROXY
• https_proxy
• http_proxy
• all_proxy

Proxy ortam değişkeni ayarlanmamışsa medya anlaması doğrudan çıkış kullanır. Proxy değeri hatalı biçimlendirilmişse OpenClaw bir uyarı günlüğe yazar ve doğrudan getirmeye geri döner.

Yetenekler (isteğe bağlı)

capabilities ayarlarsanız girdi yalnızca bu medya türleri için çalışır. Paylaşılan listeler için OpenClaw varsayılanları çıkarabilir:

• openai, anthropic, minimax: görüntü
• minimax-portal: görüntü
• moonshot: görüntü + video
• openrouter: görüntü + ses
• google (Gemini API): görüntü + ses + video
• qwen: görüntü + video
• mistral: ses
• zai: görüntü
• groq: ses
• xai: ses
• deepgram: ses
• Görüntü yetenekli modele sahip herhangi bir models.providers.<id>.models[] kataloğu: görüntü

CLI girdileri için şaşırtıcı eşleşmelerden kaçınmak üzere capabilities değerini açıkça ayarlayın. capabilities değerini atlarsanız girdi, göründüğü liste için uygun olur.

Sağlayıcı destek matrisi (OpenClaw entegrasyonları)

Model seçimi rehberi

• Kalite ve güvenlik önemli olduğunda her medya yeteneği için kullanılabilir en güçlü en yeni nesil modeli tercih edin.
• Güvenilmeyen girdileri işleyen araç etkin ajanlar için daha eski/zayıf medya modellerinden kaçının.
• Erişilebilirlik için yetenek başına en az bir yedek tutun (kaliteli model + daha hızlı/daha ucuz model).
• Sağlayıcı API'leri kullanılamadığında CLI yedekleri (whisper-cli, whisper, gemini) yararlıdır.
• parakeet-mlx notu: --output-dir ile, çıktı biçimi txt olduğunda (veya belirtilmediğinde) OpenClaw <output-dir>/<media-basename>.txt dosyasını okur; txt olmayan biçimler stdout'a geri döner.

Ek ilkesi

Yetenek başına attachments, hangi eklerin işleneceğini denetler:

mode: "all" olduğunda çıktılar [Image 1/2], [Audio 2/2] vb. olarak etiketlenir.

Yapılandırma örnekleri

{  tools: {    media: {      models: [        { provider: "openai", model: "gpt-5.5", capabilities: ["image"] },        {          provider: "google",          model: "gemini-3-flash-preview",          capabilities: ["image", "audio", "video"],        },        {          type: "cli",          command: "gemini",          args: [            "-m",            "gemini-3-flash",            "--allowed-tools",            "read_file",            "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",          ],          capabilities: ["image", "video"],        },      ],      audio: {        attachments: { mode: "all", maxAttachments: 2 },      },      video: {        maxChars: 500,      },    },  },}

{  tools: {    media: {      audio: {        enabled: true,        models: [          { provider: "openai", model: "gpt-4o-mini-transcribe" },          {            type: "cli",            command: "whisper",            args: ["--model", "base", "{{MediaPath}}"],          },        ],      },      video: {        enabled: true,        maxChars: 500,        models: [          { provider: "google", model: "gemini-3-flash-preview" },          {            type: "cli",            command: "gemini",            args: [              "-m",              "gemini-3-flash",              "--allowed-tools",              "read_file",              "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",            ],          },        ],      },    },  },}

{  tools: {    media: {      image: {        enabled: true,        maxBytes: 10485760,        maxChars: 500,        models: [          { provider: "openai", model: "gpt-5.5" },          { provider: "anthropic", model: "claude-opus-4-6" },          {            type: "cli",            command: "gemini",            args: [              "-m",              "gemini-3-flash",              "--allowed-tools",              "read_file",              "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",            ],          },        ],      },    },  },}

{  tools: {    media: {      image: {        models: [          {            provider: "google",            model: "gemini-3.1-pro-preview",            capabilities: ["image", "video", "audio"],          },        ],      },      audio: {        models: [          {            provider: "google",            model: "gemini-3.1-pro-preview",            capabilities: ["image", "video", "audio"],          },        ],      },      video: {        models: [          {            provider: "google",            model: "gemini-3.1-pro-preview",            capabilities: ["image", "video", "audio"],          },        ],      },    },  },}

Durum çıktısı

Medya anlama çalıştığında /status kısa bir özet satırı içerir:

📎 Media: image ok (openai/gpt-5.4) · audio skipped (maxBytes)

Bu, yetenek başına sonuçları ve varsa seçilen sağlayıcı/modeli gösterir.

Notlar

• Anlama en iyi çaba esaslıdır. Hatalar yanıtları engellemez.
• Anlama devre dışı olduğunda bile ekler modellere iletilmeye devam eder.
• Anlamanın nerede çalışacağını sınırlamak için scope kullanın (örn. yalnızca DM'ler).

İlgili

• Yapılandırma
• Görsel ve medya desteği