Провайдер llama.cpp

llama-cpp є офіційним зовнішнім Plugin постачальника для локальних вбудовувань GGUF. Він володіє runtime-залежністю node-llama-cpp, яку використовує memorySearch.provider: "local".

Установіть його перед використанням локальних вбудовувань пам’яті:

openclaw plugins install @openclaw/llama-cpp-provider

Основний npm-пакет openclaw не містить node-llama-cpp. Збереження нативної залежності в цьому Plugin запобігає видаленню вручну встановленого runtime у каталозі пакета OpenClaw під час звичайних npm-оновлень OpenClaw.

Конфігурація

Установіть постачальника пошуку в пам’яті на local:

{  agents: {    defaults: {      memorySearch: {        provider: "local",        local: {          modelPath: "hf:ggml-org/embeddinggemma-300m-qat-q8_0-GGUF/embeddinggemma-300m-qat-Q8_0.gguf",        },      },    },  },}

Типова модель — embeddinggemma-300m-qat-Q8_0.gguf. Ви також можете вказати local.modelPath на локальний файл .gguf.

Нативний runtime

Використовуйте Node 24 для найзручнішого шляху встановлення нативних залежностей. Вихідні checkout’и, що використовують pnpm, можуть потребувати схвалення та повторного складання нативної залежності:

pnpm approve-buildspnpm rebuild node-llama-cpp

Для локальних вбудовувань із меншим тертям використовуйте локального сервісного постачальника, як-от Ollama або LM Studio.