Deepgram

Deepgram è un'API di conversione da voce a testo. OpenClaw la utilizza per la trascrizione dell'audio in ingresso e delle note vocali tramite tools.media.audio e per lo STT in streaming delle chiamate vocali tramite plugins.entries.voice-call.config.streaming.

La trascrizione in batch carica il file audio completo su Deepgram e inserisce la trascrizione nella pipeline di risposta (blocco {{Transcript}} + [Audio]). Lo streaming delle chiamate vocali inoltra in tempo reale i frame G.711 u-law tramite l'endpoint WebSocket listen di Deepgram ed emette trascrizioni parziali e finali man mano che Deepgram le restituisce.

Guida introduttiva

DEEPGRAM_API_KEY=dg_...

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

Opzioni di configurazione

providerOptions.deepgram unisce i parametri di query aggiuntivi direttamente nella richiesta /listen di Deepgram, pertanto è possibile usare qualsiasi nome di parametro supportato da Deepgram (ad esempio detect_language, punctuate, smart_format):

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3", language: "en" }],      },    },  },}

{  tools: {    media: {      audio: {        enabled: true,        providerOptions: {          deepgram: {            detect_language: true,            punctuate: true,            smart_format: true,          },        },        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

STT in streaming delle chiamate vocali

Il plugin deepgram incluso registra anche un provider di trascrizione in tempo reale per il plugin delle chiamate vocali.

{  plugins: {    entries: {      "voice-call": {        config: {          streaming: {            enabled: true,            provider: "deepgram",            providers: {              deepgram: {                apiKey: "${DEEPGRAM_API_KEY}",                model: "nova-3",                endpointingMs: 800,                language: "en-US",              },            },          },        },      },    },  },}

Per un endpoint personalizzato di Deepgram, impostare baseUrl sulla radice dell'endpoint, includendo qualsiasi percorso di base ma non /listen. Gli endpoint in tempo reale accettano http://, https://, ws:// e wss://. HTTP viene convertito in WS, HTTPS in WSS, mentre gli schemi WebSocket espliciti rimangono invariati. Gli URL non validi e gli altri schemi causano un errore durante la configurazione della sessione.

Note

Contenuti correlati