Llama-Cpp-Plugin

Lokale GGUF-Textinferenz und Embeddings über node-llama-cpp.

Distribution

• Paket: @openclaw/llama-cpp-provider
• Installationsweg: npm; ClawHub

Oberfläche

Provider: llama-cpp; Verträge: embeddingProviders

Standard-Textmodell

Während der interaktiven Einrichtung bietet OpenClaw Gemma 4 E4B IT Q4_K_M als gebündelten Download mit einer Größe von ungefähr 5.0 GB an. Das Angebot setzt insgesamt mindestens 16 GiB RAM voraus. Bereits zwischengespeicherte Modelle werden auch auf kleineren Systemen weiterhin erkannt.

Um ein anderes Modell zu verwenden, setzen Sie params.modelPath auf eine beliebige benutzerdefinierte GGUF-Datei. Benutzerdefinierte Modelle unterliegen nicht der RAM-Anforderung für den gebündelten Download. Auf Systemen, die diese Anforderung nicht erfüllen, können Sie außerdem ein kleineres Modell über Ollama oder LM Studio ausführen oder einen Cloud-Provider wählen.

Zugehörige Dokumentation

• llama-cpp