Get started
Llama Cpp Plugin
Llama Cpp Plugin
node-llama-cpp के माध्यम से स्थानीय GGUF टेक्स्ट इन्फ़रेंस और एम्बेडिंग।
वितरण
- पैकेज:
@openclaw/llama-cpp-provider - इंस्टॉल मार्ग: npm; ClawHub
सतह
प्रोवाइडर: llama-cpp; अनुबंध: embeddingProviders
डिफ़ॉल्ट टेक्स्ट मॉडल
इंटरैक्टिव सेटअप के दौरान, OpenClaw लगभग 5.0 GB के बंडल डाउनलोड के रूप में Gemma 4 E4B IT Q4_K_M प्रदान करता है। इस प्रस्ताव के लिए कम-से-कम 16 GiB कुल RAM आवश्यक है। छोटी मशीनों पर भी पहले से कैश किए गए मॉडल पहचाने जाते हैं।
किसी अन्य मॉडल का उपयोग करने के लिए, params.modelPath को किसी भी कस्टम GGUF पर सेट करें। कस्टम मॉडल
बंडल डाउनलोड की RAM आवश्यकता के अधीन नहीं हैं। आवश्यकता से कम क्षमता वाली मशीनों पर,
आप Ollama या LM Studio के माध्यम से कोई छोटा मॉडल भी चला सकते हैं, या
किसी क्लाउड प्रोवाइडर को चुन सकते हैं।
संबंधित दस्तावेज़
Was this useful?
