Mulai
Plugin Llama Cpp
Plugin Llama Cpp
Inferensi teks dan embedding GGUF lokal melalui node-llama-cpp.
Distribusi
- Paket:
@openclaw/llama-cpp-provider - Rute instalasi: npm; ClawHub
Permukaan
penyedia: llama-cpp; kontrak: embeddingProviders
Model teks default
Selama penyiapan interaktif, OpenClaw menawarkan Gemma 4 E4B IT Q4_K_M sebagai unduhan bawaan berukuran sekitar 5.0 GB. Penawaran ini memerlukan setidaknya 16 GiB RAM total. Model yang sudah tersimpan dalam cache tetap terdeteksi pada mesin yang lebih kecil.
Untuk menggunakan model lain, atur params.modelPath ke GGUF kustom apa pun. Model kustom
tidak tunduk pada persyaratan RAM untuk unduhan bawaan. Pada mesin yang tidak memenuhi
persyaratan, Anda juga dapat menjalankan model yang lebih kecil melalui Ollama atau LM Studio, atau
memilih penyedia cloud.
Dokumentasi terkait
Was this useful?
