Deepgram

Deepgram — это API преобразования речи в текст. OpenClaw использует его для транскрибирования входящих аудиосообщений и голосовых заметок через tools.media.audio, а также для потокового преобразования речи в текст при голосовых вызовах через plugins.entries.voice-call.config.streaming.

При пакетном транскрибировании полный аудиофайл загружается в Deepgram, а транскрипция добавляется в конвейер ответов (блок {{Transcript}} + [Audio]). При потоковом преобразовании речи в текст для голосовых вызовов кадры G.711 u-law в реальном времени передаются через конечную точку WebSocket listen Deepgram, а по мере получения от Deepgram создаются промежуточные и окончательные транскрипции.

Начало работы

DEEPGRAM_API_KEY=dg_...

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

Параметры конфигурации

providerOptions.deepgram добавляет дополнительные параметры запроса непосредственно в запрос Deepgram /listen, поэтому можно использовать любое имя параметра, поддерживаемое Deepgram (например, detect_language, punctuate, smart_format):

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3", language: "en" }],      },    },  },}

{  tools: {    media: {      audio: {        enabled: true,        providerOptions: {          deepgram: {            detect_language: true,            punctuate: true,            smart_format: true,          },        },        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

Потоковое преобразование речи в текст для голосовых вызовов

Встроенный плагин deepgram также регистрирует провайдер транскрибирования в реальном времени для плагина голосовых вызовов.

{  plugins: {    entries: {      "voice-call": {        config: {          streaming: {            enabled: true,            provider: "deepgram",            providers: {              deepgram: {                apiKey: "${DEEPGRAM_API_KEY}",                model: "nova-3",                endpointingMs: 800,                language: "en-US",              },            },          },        },      },    },  },}

Чтобы использовать пользовательскую конечную точку Deepgram, задайте для baseUrl корневой адрес конечной точки, включая базовый путь, но без /listen. Конечные точки реального времени принимают http://, https://, ws:// и wss://. HTTP преобразуется в WS, HTTPS — в WSS, а явно указанные схемы WebSocket остаются без изменений. Некорректные URL-адреса и другие схемы приводят к ошибке при настройке сеанса.

Примечания

См. также