Deepgram

Deepgram é uma API de conversão de fala em texto. O OpenClaw a utiliza para a transcrição de áudios/notas de voz recebidos por meio de tools.media.audio e para STT por streaming de Chamadas de Voz por meio de plugins.entries.voice-call.config.streaming.

A transcrição em lote envia o arquivo de áudio completo para a Deepgram e insere a transcrição no pipeline de resposta (bloco {{Transcript}} + [Audio]). O streaming de Chamadas de Voz encaminha quadros G.711 u-law ao vivo pelo endpoint WebSocket listen da Deepgram e emite transcrições parciais/finais conforme a Deepgram as retorna.

Primeiros passos

DEEPGRAM_API_KEY=dg_...

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

Opções de configuração

providerOptions.deepgram mescla parâmetros de consulta adicionais diretamente na solicitação /listen da Deepgram, portanto qualquer nome de parâmetro compatível com a Deepgram funciona (por exemplo, detect_language, punctuate, smart_format):

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3", language: "en" }],      },    },  },}

{  tools: {    media: {      audio: {        enabled: true,        providerOptions: {          deepgram: {            detect_language: true,            punctuate: true,            smart_format: true,          },        },        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

STT por streaming de Chamadas de Voz

O plugin deepgram incluído também registra um provedor de transcrição em tempo real para o plugin de Chamadas de Voz.

{  plugins: {    entries: {      "voice-call": {        config: {          streaming: {            enabled: true,            provider: "deepgram",            providers: {              deepgram: {                apiKey: "${DEEPGRAM_API_KEY}",                model: "nova-3",                endpointingMs: 800,                language: "en-US",              },            },          },        },      },    },  },}

Para um endpoint personalizado da Deepgram, defina baseUrl como a raiz do endpoint, incluindo qualquer caminho base, mas não /listen. Os endpoints em tempo real aceitam http://, https://, ws:// e wss://. HTTP é mapeado para WS, HTTPS é mapeado para WSS e esquemas WebSocket explícitos permanecem inalterados. URLs malformadas e outros esquemas causam falha durante a configuração da sessão.

Observações

Conteúdo relacionado