Deepgram

Deepgram es una API de conversión de voz a texto. OpenClaw la utiliza para la transcripción de audio y notas de voz entrantes mediante tools.media.audio y para la conversión de voz a texto (STT) en streaming de Voice Call mediante plugins.entries.voice-call.config.streaming.

La transcripción por lotes carga el archivo de audio completo en Deepgram e inserta la transcripción en el pipeline de respuestas (bloque {{Transcript}} + [Audio]). El streaming de Voice Call reenvía en tiempo real tramas G.711 u-law mediante el endpoint WebSocket listen de Deepgram y emite transcripciones parciales y finales a medida que Deepgram las devuelve.

Primeros pasos

DEEPGRAM_API_KEY=dg_...

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

Opciones de configuración

providerOptions.deepgram combina parámetros de consulta adicionales directamente con la solicitud /listen de Deepgram, por lo que funciona cualquier nombre de parámetro compatible con Deepgram (por ejemplo, detect_language, punctuate, smart_format):

{  tools: {    media: {      audio: {        enabled: true,        models: [{ provider: "deepgram", model: "nova-3", language: "en" }],      },    },  },}

{  tools: {    media: {      audio: {        enabled: true,        providerOptions: {          deepgram: {            detect_language: true,            punctuate: true,            smart_format: true,          },        },        models: [{ provider: "deepgram", model: "nova-3" }],      },    },  },}

STT en streaming de Voice Call

El plugin deepgram incluido también registra un proveedor de transcripción en tiempo real para el plugin Voice Call.

{  plugins: {    entries: {      "voice-call": {        config: {          streaming: {            enabled: true,            provider: "deepgram",            providers: {              deepgram: {                apiKey: "${DEEPGRAM_API_KEY}",                model: "nova-3",                endpointingMs: 800,                language: "en-US",              },            },          },        },      },    },  },}

Para usar un endpoint personalizado de Deepgram, establezca baseUrl en la raíz del endpoint, incluida cualquier ruta base, pero no /listen. Los endpoints en tiempo real aceptan http://, https://, ws:// y wss://. HTTP se asigna a WS, HTTPS se asigna a WSS y los esquemas WebSocket explícitos permanecen sin cambios. Las URL con formato incorrecto y otros esquemas provocan un fallo durante la configuración de la sesión.

Notas

Contenido relacionado