Deepgram

Deepgram to interfejs API zamiany mowy na tekst. OpenClaw używa go do transkrypcji przychodzących wiadomości audio/notatek głosowych za pośrednictwem tools.media.audio oraz do strumieniowego STT połączeń głosowych za pośrednictwem plugins.entries.voice-call.config.streaming.

Transkrypcja wsadowa przesyła kompletny plik audio do Deepgram i wprowadza transkrypcję do potoku odpowiedzi (blok {{Transcript}} + [Audio]). Strumieniowanie połączeń głosowych przekazuje na żywo ramki G.711 u-law przez punkt końcowy WebSocket listen Deepgram i emituje częściowe/końcowe transkrypcje w miarę ich zwracania przez Deepgram.

Pierwsze kroki

DEEPGRAM_API_KEY=dg_...

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

Opcje konfiguracji

providerOptions.deepgram scala dodatkowe parametry zapytania bezpośrednio z żądaniem /listen Deepgram, dlatego działa każda nazwa parametru obsługiwana przez Deepgram (na przykład detect_language, punctuate, smart_format):

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3", language: "en" }],      },    },  },}

{  tools: {    media: {      audio: {        enabled: true,        providerOptions: {          deepgram: {            detect_language: true,            punctuate: true,            smart_format: true,          },        },        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

Strumieniowe STT połączeń głosowych

Dołączony Plugin deepgram rejestruje również dostawcę transkrypcji w czasie rzeczywistym dla Pluginu połączeń głosowych.

{  plugins: {    entries: {      "voice-call": {        config: {          streaming: {            enabled: true,            provider: "deepgram",            providers: {              deepgram: {                apiKey: "${DEEPGRAM_API_KEY}",                model: "nova-3",                endpointingMs: 800,                language: "en-US",              },            },          },        },      },    },  },}

W przypadku niestandardowego punktu końcowego Deepgram ustaw baseUrl na katalog główny punktu końcowego, uwzględniając ścieżkę bazową, ale bez /listen. Punkty końcowe czasu rzeczywistego akceptują http://, https://, ws:// i wss://. HTTP jest mapowany na WS, HTTPS na WSS, a jawnie określone schematy WebSocket pozostają bez zmian. Nieprawidłowe adresy URL i inne schematy powodują błąd podczas konfigurowania sesji.

Uwagi

Powiązane