快速开始

Llama Cpp 插件

Llama Cpp 插件

通过 node-llama-cpp 在本地进行 GGUF 文本推理和嵌入。

分发

  • 软件包:@openclaw/llama-cpp-provider
  • 安装方式:npm;ClawHub

接口

提供商:llama-cpp;契约:embeddingProviders

默认文本模型

在交互式设置期间,OpenClaw 会提供 Gemma 4 E4B IT Q4_K_M,作为一个约 5.0 GB 的内置下载项。此下载选项要求至少有 16 GiB 的总内存。现有缓存模型在内存较小的机器上仍会被检测到。

要使用其他模型,请将 params.modelPath 设置为任意自定义 GGUF。自定义模型不受内置下载项的内存要求限制。在低于该要求的机器上,也可以通过 Ollama 或 LM Studio 运行更小的模型,或者选择云提供商。

相关文档

Was this useful?
On this page

On this page