Llama Cpp plugin'i

node-llama-cpp aracılığıyla yerel GGUF metin çıkarımı ve gömmeleri.

Dağıtım

• Paket: @openclaw/llama-cpp-provider
• Kurulum yolu: npm; ClawHub

Yüzey

sağlayıcılar: llama-cpp; sözleşmeler: embeddingProviders

Varsayılan metin modeli

Etkileşimli kurulum sırasında OpenClaw, yaklaşık 5.0 GB boyutunda paketlenmiş bir indirme olarak Gemma 4 E4B IT Q4_K_M modelini sunar. Bu teklif en az 16 GiB toplam RAM gerektirir. Daha küçük makinelerde önceden önbelleğe alınmış modeller yine de algılanır.

Başka bir model kullanmak için params.modelPath değerini herhangi bir özel GGUF olarak ayarlayın. Özel modeller, paketlenmiş indirme için geçerli RAM gereksinimine tabi değildir. Gereksinimi karşılamayan makinelerde Ollama veya LM Studio aracılığıyla daha küçük bir model çalıştırabilir ya da bir bulut sağlayıcısı seçebilirsiniz.

İlgili belgeler

• llama-cpp