Deepgram

Deepgram یک API تبدیل گفتار به متن است. OpenClaw از آن برای رونویسی صوت ورودی/یادداشت صوتی از طریق tools.media.audio و برای STT جریانی Voice Call از طریق plugins.entries.voice-call.config.streaming استفاده می‌کند.

رونویسی دسته‌ای، فایل صوتی کامل را در Deepgram بارگذاری می‌کند و رونوشت را به پایپ‌لاین پاسخ تزریق می‌کند (بلوک {{Transcript}} + [Audio]). جریان Voice Call فریم‌های زنده G.711 u-law را از طریق نقطه پایانی WebSocket listen در Deepgram ارسال می‌کند و هم‌زمان با بازگرداندن آن‌ها توسط Deepgram، رونوشت‌های جزئی/نهایی را منتشر می‌کند.

شروع به کار

DEEPGRAM_API_KEY=dg_...

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

گزینه‌های پیکربندی

providerOptions.deepgram پارامترهای اضافی پرس‌وجو را مستقیماً با درخواست /listen در Deepgram ادغام می‌کند؛ بنابراین هر نام پارامتری که Deepgram پشتیبانی کند، قابل استفاده است (برای نمونه detect_language، punctuate، smart_format):

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3", language: "en" }],      },    },  },}

{  tools: {    media: {      audio: {        enabled: true,        providerOptions: {          deepgram: {            detect_language: true,            punctuate: true,            smart_format: true,          },        },        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

STT جریانی Voice Call

Plugin همراه deepgram همچنین یک ارائه‌دهنده رونویسی بلادرنگ برای Plugin مربوط به Voice Call ثبت می‌کند.

{  plugins: {    entries: {      "voice-call": {        config: {          streaming: {            enabled: true,            provider: "deepgram",            providers: {              deepgram: {                apiKey: "${DEEPGRAM_API_KEY}",                model: "nova-3",                endpointingMs: 800,                language: "en-US",              },            },          },        },      },    },  },}

برای یک نقطه پایانی سفارشی Deepgram، baseUrl را روی ریشه نقطه پایانی، شامل هر مسیر پایه اما بدون /listen، تنظیم کنید. نقاط پایانی بلادرنگ http://، https://، ws:// و wss:// را می‌پذیرند. HTTP به WS و HTTPS به WSS نگاشت می‌شود و طرح‌واره‌های صریح WebSocket بدون تغییر باقی می‌مانند. URLهای بدساخت و طرح‌واره‌های دیگر هنگام راه‌اندازی نشست با خطا مواجه می‌شوند.

نکات

مرتبط