Dostawca llama.cpp

llama-cpp to oficjalny zewnętrzny Plugin dostawcy dla lokalnych osadzeń GGUF. Jest właścicielem zależności środowiska uruchomieniowego node-llama-cpp używanej przez memorySearch.provider: "local".

Zainstaluj go przed użyciem lokalnych osadzeń pamięci:

openclaw plugins install @openclaw/llama-cpp-provider

Główny pakiet npm openclaw nie zawiera node-llama-cpp. Utrzymywanie natywnej zależności w tym Plugin zapobiega usuwaniu ręcznie zainstalowanego środowiska uruchomieniowego w katalogu pakietu OpenClaw przez standardowe aktualizacje npm OpenClaw.

Konfiguracja

Ustaw dostawcę wyszukiwania pamięci na local:

{  agents: {    defaults: {      memorySearch: {        provider: "local",        local: {          modelPath: "hf:ggml-org/embeddinggemma-300m-qat-q8_0-GGUF/embeddinggemma-300m-qat-Q8_0.gguf",        },      },    },  },}

Domyślny model to embeddinggemma-300m-qat-Q8_0.gguf. Możesz także wskazać local.modelPath na lokalny plik .gguf.

Natywne środowisko uruchomieniowe

Użyj Node 24, aby uzyskać najsprawniejszą ścieżkę instalacji natywnej. Checkouty źródłowe używające pnpm mogą wymagać zatwierdzenia i ponownego zbudowania natywnej zależności:

pnpm approve-buildspnpm rebuild node-llama-cpp

Aby uzyskać lokalne osadzenia z mniejszym tarciem, użyj zamiast tego lokalnego dostawcy usług, takiego jak Ollama lub LM Studio.