Ollama

लूपबैक, निजी-नेटवर्क, .local, और केवल-होस्टनाम वाले Ollama URL को वास्तविक बेयरर टोकन की आवश्यकता नहीं होती। OpenClaw इनके लिए ollama-local मार्कर का उपयोग करता है।

सार्वजनिक रिमोट होस्ट और https://ollama.com के लिए वास्तविक क्रेडेंशियल आवश्यक है: OLLAMA_API_KEY, कोई प्रमाणीकरण प्रोफ़ाइल, या प्रोवाइडर का apiKey। सीधे होस्टेड उपयोग के लिए ollama-cloud प्रोवाइडर को प्राथमिकता दें।

api: "ollama" वाला कस्टम प्रोवाइडर समान नियमों का पालन करता है। उदाहरण के लिए, किसी निजी LAN होस्ट की ओर इंगित ollama-remote प्रोवाइडर apiKey: "ollama-local" का उपयोग कर सकता है; उप-एजेंट इसे अनुपलब्ध क्रेडेंशियल मानने के बजाय Ollama प्रोवाइडर हुक के माध्यम से हल करते हैं। memory.search.provider किसी कस्टम प्रोवाइडर आईडी की ओर भी इंगित कर सकता है, ताकि एम्बेडिंग उस Ollama एंडपॉइंट का उपयोग करें।

auth-profiles.json किसी प्रोवाइडर आईडी का क्रेडेंशियल संग्रहीत करता है; एंडपॉइंट सेटिंग्स (baseUrl, api, मॉडल, हेडर, टाइमआउट) को models.providers.<id> में रखें। { "ollama-windows": { "apiKey": "ollama-local" } } जैसी पुरानी फ़्लैट फ़ाइलें रनटाइम प्रारूप नहीं हैं; openclaw doctor --fix बैकअप बनाकर उन्हें कैनोनिकल ollama-windows:default API-कुंजी प्रोफ़ाइल में पुनर्लिखता है। उस लेगेसी फ़ाइल में मौजूद baseUrl मान अनावश्यक है और उसे प्रोवाइडर कॉन्फ़िगरेशन में स्थानांतरित किया जाना चाहिए।

Ollama मेमोरी एम्बेडिंग के लिए बेयरर प्रमाणीकरण उसी होस्ट तक सीमित होता है जिसके लिए इसे घोषित किया गया था:

• प्रोवाइडर-स्तरीय कुंजी केवल उसी प्रोवाइडर के होस्ट को भेजी जाती है।
• memory.search.remote.apiKey और प्रति-एजेंट ओवरराइड केवल उनके रिमोट एम्बेडिंग होस्ट को भेजे जाते हैं।
• केवल OLLAMA_API_KEY एनवायरनमेंट मान को Ollama Cloud परंपरा माना जाता है और डिफ़ॉल्ट रूप से लोकल/स्वयं-होस्टेड होस्ट को नहीं भेजा जाता।

Gateway वाली उसी मशीन पर Ollama, जो स्वतः खोजा जाता है:

ollama serveollama pull gemma4export OLLAMA_API_KEY="ollama-local"openclaw models list --provider ollamaopenclaw models set ollama/gemma4

जब तक मैन्युअल मॉडलों की आवश्यकता न हो, models.providers.ollama ब्लॉक न जोड़ें।

{  models: {    providers: {      ollama: {        baseUrl: "http://gpu-box.local:11434",        apiKey: "ollama-local",        api: "ollama",        timeoutSeconds: 300,        contextWindow: 32768,        maxTokens: 8192,        models: [          {            id: "qwen3.5:9b",            name: "qwen3.5:9b",            reasoning: true,            input: ["text"],            params: {              num_ctx: 32768,              thinking: false,              keep_alive: "15m",            },          },        ],      },    },  },  agents: {    defaults: {      model: { primary: "ollama/qwen3.5:9b" },    },  },}

contextWindow OpenClaw का कॉन्टेक्स्ट बजट है; params.num_ctx Ollama को भेजा जाता है। जब हार्डवेयर मॉडल का पूरा विज्ञापित कॉन्टेक्स्ट नहीं चला सकता, तो उन्हें संरेखित रखें।

कोई स्थानीय daemon नहीं, सीधे होस्ट किए गए मॉडल:

export OLLAMA_API_KEY="your-ollama-api-key"

{  models: {    providers: {      ollama: {        baseUrl: "https://ollama.com",        apiKey: "OLLAMA_API_KEY",        api: "ollama",        models: [          {            id: "kimi-k2.5:cloud",            name: "kimi-k2.5:cloud",            reasoning: false,            input: ["text", "image"],            contextWindow: 128000,            maxTokens: 8192,          },        ],      },    },  },  agents: {    defaults: {      model: { primary: "ollama/kimi-k2.5:cloud" },    },  },}

इस संरचना के बजाय समर्पित ollama-cloud प्रदाता आईडी के लिए, Ollama Cloud देखें।

एक से अधिक Ollama सर्वर चलाते समय कस्टम प्रदाता आईडी; प्रत्येक को अपना होस्ट, मॉडल, प्रमाणीकरण और टाइमआउट मिलता है।

{  models: {    providers: {      "ollama-fast": {        baseUrl: "http://mini.local:11434",        apiKey: "ollama-local",        api: "ollama",        contextWindow: 32768,        models: [{ id: "gemma4", name: "gemma4", input: ["text"] }],      },      "ollama-large": {        baseUrl: "http://gpu-box.local:11434",        apiKey: "ollama-local",        api: "ollama",        timeoutSeconds: 420,        contextWindow: 131072,        maxTokens: 16384,        models: [{ id: "qwen3.5:27b", name: "qwen3.5:27b", input: ["text"] }],      },    },  },  agents: {    defaults: {      model: {        primary: "ollama-fast/gemma4",        fallbacks: ["ollama-large/qwen3.5:27b"],      },    },  },}

Ollama को कॉल करने से पहले OpenClaw सक्रिय प्रदाता प्रीफ़िक्स हटा देता है (और उपलब्ध न होने पर केवल ollama/ प्रीफ़िक्स का उपयोग करता है), इसलिए ollama-large/qwen3.5:27b Ollama तक qwen3.5:27b के रूप में पहुँचता है।

कुछ स्थानीय मॉडल सरल प्रॉम्प्ट संभाल लेते हैं, लेकिन पूर्ण एजेंट टूल सतह के साथ कठिनाई अनुभव करते हैं। वैश्विक रनटाइम सेटिंग्स में बदलाव करने से पहले टूल और संदर्भ सीमित करें:

{  agents: {    list: [      {        id: "local",        experimental: {          localModelLean: true,        },        model: { primary: "ollama/gemma4" },      },    ],  },  models: {    providers: {      ollama: {        baseUrl: "http://127.0.0.1:11434",        apiKey: "ollama-local",        api: "ollama",        contextWindow: 32768,        models: [          {            id: "gemma4",            name: "gemma4",            input: ["text"],            params: { num_ctx: 32768 },            compat: { supportsTools: false },          },        ],      },    },  },}

compat.supportsTools: false का उपयोग केवल तभी करें, जब मॉडल या सर्वर टूल स्कीमा पर विश्वसनीय रूप से विफल हो — यह स्थिरता के बदले एजेंट क्षमता कम करता है। localModelLean स्पष्ट रूप से आवश्यक न होने पर भारी ब्राउज़र, Cron, संदेश, मीडिया-जनरेशन, वॉइस और PDF टूल को प्रत्यक्ष एजेंट सतह से हटा देता है, और बड़े कैटलॉग को टूल खोज के पीछे रखता है। यह Ollama के रनटाइम संदर्भ या चिंतन मोड को नहीं बदलता। इसे params.num_ctx और params.thinking: false के साथ उन छोटे Qwen-शैली चिंतन मॉडलों के लिए जोड़ें, जो लूप करते हैं या अपना बजट छिपे हुए तर्क पर खर्च करते हैं।

/v1/chat/completions के पीछे वाले प्रॉक्सी के लिए api: "openai-completions" को स्पष्ट रूप से सेट करें:

{  models: {    providers: {      ollama: {        baseUrl: "http://ollama-host:11434/v1",        api: "openai-completions",        injectNumCtxForOpenAICompat: true, // डिफ़ॉल्ट: true        apiKey: "ollama-local",        models: [...]      }    }  }}

यह मोड स्ट्रीमिंग और टूल कॉलिंग का एक साथ समर्थन नहीं कर सकता; आपको मॉडल पर params: { streaming: false } की आवश्यकता हो सकती है।

OpenClaw इस मोड में डिफ़ॉल्ट रूप से options.num_ctx अंतःक्षेपित करता है, ताकि Ollama चुपचाप 4096-टोकन संदर्भ पर वापस न चला जाए। यदि आपका प्रॉक्सी अज्ञात options फ़ील्ड अस्वीकार करता है, तो इसे अक्षम करें:

{  models: {    providers: {      ollama: {        baseUrl: "http://ollama-host:11434/v1",        api: "openai-completions",        injectNumCtxForOpenAICompat: false,        apiKey: "ollama-local",        models: [...]      }    }  }}

स्वतः खोजे गए मॉडलों के लिए OpenClaw वह संदर्भ विंडो उपयोग करता है, जिसकी रिपोर्ट /api/show करता है, जिसमें कस्टम Modelfiles से बड़े PARAMETER num_ctx मान भी शामिल हैं; अन्यथा यह OpenClaw की डिफ़ॉल्ट Ollama संदर्भ विंडो पर वापस जाता है।

प्रदाता-स्तरीय contextWindow, contextTokens, और maxTokens उस प्रदाता के अंतर्गत प्रत्येक मॉडल के लिए डिफ़ॉल्ट सेट करते हैं और इन्हें प्रति मॉडल ओवरराइड किया जा सकता है। contextWindow OpenClaw का अपना प्रॉम्प्ट/Compaction बजट है। मूल /api/chat अनुरोधों में options.num_ctx तब तक सेट नहीं होता, जब तक आप params.num_ctx को स्पष्ट रूप से सेट न करें, इसलिए Ollama अपना मॉडल, OLLAMA_CONTEXT_LENGTH, या VRAM-आधारित डिफ़ॉल्ट लागू करता है; अमान्य, शून्य, ऋणात्मक या गैर-परिमित params.num_ctx मानों को अनदेखा किया जाता है। यदि किसी पुराने कॉन्फ़िगरेशन ने मूल अनुरोध संदर्भ बाध्य करने के लिए केवल contextWindow/maxTokens का उपयोग किया था, तो उन्हें params.num_ctx में कॉपी करने के लिए openclaw doctor --fix चलाएँ। OpenAI-संगत अडैप्टर अभी भी कॉन्फ़िगर किए गए params.num_ctx या contextWindow से डिफ़ॉल्ट रूप से options.num_ctx अंतःक्षेपित करता है; यदि अपस्ट्रीम options अस्वीकार करता है, तो इसे injectNumCtxForOpenAICompat: false से अक्षम करें।

मूल मॉडल प्रविष्टियाँ params के अंतर्गत सामान्य Ollama रनटाइम विकल्प भी स्वीकार करती हैं, जिन्हें मूल /api/chat options के रूप में अग्रेषित किया जाता है: num_keep, seed, num_predict, top_k, top_p, min_p, typical_p, repeat_last_n, temperature, repeat_penalty, presence_penalty, frequency_penalty, stop, num_batch, num_gpu, main_gpu, use_mmap, और num_thread। कुछ कुंजियाँ (format, keep_alive, truncate, shift) नेस्टेड options के बजाय शीर्ष-स्तरीय अनुरोध फ़ील्ड के रूप में अग्रेषित होती हैं। OpenClaw केवल इन Ollama अनुरोध कुंजियों को अग्रेषित करता है, इसलिए केवल रनटाइम वाले पैरामीटर, जैसे streaming, Ollama को कभी नहीं भेजे जाते। शीर्ष-स्तरीय think सेट करने के लिए params.think (या params.thinking) का उपयोग करें; false Qwen-शैली चिंतन मॉडलों के लिए API-स्तरीय चिंतन अक्षम करता है।

{  models: {    providers: {      ollama: {        contextWindow: 32768,        models: [          {            id: "llama3.3",            contextWindow: 131072,            maxTokens: 65536,            params: {              num_ctx: 32768,              temperature: 0.7,              top_p: 0.9,              thinking: false,            },          }        ]      }    }  }}

प्रति-मॉडल agents.defaults.models["ollama/<model>"].params.num_ctx भी काम करता है; यदि दोनों सेट हों, तो स्पष्ट प्रदाता मॉडल प्रविष्टि को प्राथमिकता मिलती है।

OpenClaw चिंतन को Ollama की अपेक्षा के अनुसार अग्रेषित करता है: शीर्ष-स्तरीय think, न कि options.think। स्वतः खोजे गए मॉडल, जिनका /api/show एक thinking क्षमता रिपोर्ट करता है, /think low, /think medium, /think high, और /think max उपलब्ध कराते हैं; चिंतन न करने वाले मॉडल केवल /think off उपलब्ध कराते हैं।

openclaw agent --model ollama/gemma4 --thinking offopenclaw agent --model ollama/gemma4 --thinking low

या मॉडल का डिफ़ॉल्ट सेट करें:

{  agents: {    defaults: {      models: {        "ollama/gemma4": {          thinking: "low",        },      },    },  },}

प्रति-मॉडल params.think/params.thinking किसी विशिष्ट मॉडल के लिए API चिंतन को अक्षम या बाध्य कर सकता है। जब सक्रिय रन में केवल अंतर्निहित off डिफ़ॉल्ट हो, तब OpenClaw उस स्पष्ट कॉन्फ़िगरेशन को बनाए रखता है; /think medium जैसी गैर-off रनटाइम कमांड फिर भी उसे ओवरराइड करती है। स्पष्ट रूप से reasoning: false चिह्नित मॉडल को कोई truthy चिंतन अनुरोध कभी नहीं भेजा जाता; think: false अनुरोध हमेशा भेजा जाता है।

deepseek-r1, reasoning, reason, या think नाम वाले मॉडल को डिफ़ॉल्ट रूप से रीज़निंग-सक्षम माना जाता है — किसी अतिरिक्त कॉन्फ़िगरेशन की आवश्यकता नहीं है:

ollama pull deepseek-r1:32b

Ollama स्थानीय रूप से चलता है और निःशुल्क है, इसलिए स्वतः खोजे गए और मैन्युअल रूप से परिभाषित, दोनों प्रकार के मॉडल की सभी लागतें 0 हैं।

बंडल किया गया Ollama Plugin मेमोरी खोज के लिए मेमोरी एम्बेडिंग प्रदाता पंजीकृत करता है। यह कॉन्फ़िगर किए गए Ollama बेस URL और API कुंजी का उपयोग करता है, /api/embed को कॉल करता है, और संभव होने पर कई मेमोरी खंडों को एक input अनुरोध में बैच करता है।

जब proxy.enabled=true हो, तब कॉन्फ़िगर किए गए baseUrl से प्राप्त ठीक उसी होस्ट-स्थानीय लूपबैक ओरिजिन के एम्बेडिंग अनुरोध, प्रबंधित फ़ॉरवर्ड प्रॉक्सी के बजाय OpenClaw के संरक्षित प्रत्यक्ष पथ का उपयोग करते हैं। कॉन्फ़िगर किया गया होस्टनाम स्वयं localhost या कोई लूपबैक IP लिटरल होना चाहिए — केवल लूपबैक पर रिज़ॉल्व होने वाले DNS नाम फिर भी प्रबंधित प्रॉक्सी पथ का उपयोग करते हैं। LAN, टेलनेट, निजी-नेटवर्क और सार्वजनिक Ollama होस्ट हमेशा प्रबंधित प्रॉक्सी पथ पर रहते हैं, और किसी अन्य होस्ट/पोर्ट पर रीडायरेक्ट को भरोसा विरासत में नहीं मिलता। proxy.loopbackMode: "proxy" लूपबैक ट्रैफ़िक को फिर भी प्रॉक्सी से रूट करता है; proxy.loopbackMode: "block" कनेक्ट करने से पहले उसे अस्वीकार करता है — प्रबंधित प्रॉक्सी देखें।

क्वेरी-समय एम्बेडिंग उन मॉडलों के लिए पुनर्प्राप्ति उपसर्गों का उपयोग करती हैं जिन्हें उनकी आवश्यकता होती है या जो उनकी अनुशंसा करते हैं: nomic-embed-text, qwen3-embedding, और mxbai-embed-large। दस्तावेज़ बैच अपरिवर्तित रहते हैं, इसलिए मौजूदा इंडेक्स को किसी प्रारूप माइग्रेशन की आवश्यकता नहीं है।

{  memory: {    search: {      provider: "ollama",      remote: {        // Ollama के लिए डिफ़ॉल्ट। यदि रीइंडेक्सिंग बहुत धीमी हो, तो बड़े होस्ट पर बढ़ाएँ।        nonBatchConcurrency: 1,      },    },  },}

किसी दूरस्थ एम्बेडिंग होस्ट के लिए, प्रमाणीकरण को उसी होस्ट तक सीमित रखें:

{  memory: {    search: {      provider: "ollama",      model: "nomic-embed-text",      remote: {        baseUrl: "http://gpu-box.local:11434",        apiKey: "ollama-local",        nonBatchConcurrency: 2,      },    },  },}

Ollama डिफ़ॉल्ट रूप से नेटिव API (/api/chat) का उपयोग करता है, जो स्ट्रीमिंग और टूल कॉलिंग को एक साथ समर्थित करता है — किसी विशेष कॉन्फ़िगरेशन की आवश्यकता नहीं है।

नेटिव अनुरोधों के लिए, चिंतन नियंत्रण सीधे अग्रेषित किया जाता है: /think off और openclaw agent --thinking off शीर्ष-स्तरीय think: false भेजते हैं, जब तक कि स्पष्ट params.think/params.thinking कॉन्फ़िगर न हो; /think low|medium|high मेल खाने वाली प्रयास स्ट्रिंग भेजता है; /think max को Ollama के उच्चतम प्रयास, think: "high", पर मैप किया जाता है।

NVIDIA/CUDA वाले WSL2 पर, आधिकारिक Ollama Linux इंस्टॉलर Restart=always के साथ एक ollama.service systemd यूनिट बनाता है। यदि वह सेवा स्वतः शुरू होकर WSL2 बूट के दौरान GPU-समर्थित मॉडल लोड करती है, तो Ollama लोडिंग के समय होस्ट मेमोरी को पिन कर सकता है; Hyper-V मेमोरी पुनर्दावा हमेशा उन पृष्ठों को पुनः प्राप्त नहीं कर पाता, इसलिए Windows WSL2 VM को समाप्त कर सकता है, systemd Ollama को पुनः शुरू करता है, और लूप दोहराता रहता है।

प्रमाण: WSL2 का बार-बार रीबूट/समाप्त होना, WSL2 स्टार्टअप के ठीक बाद app.slice या ollama.service में उच्च CPU, और Linux OOM किलर के बजाय systemd से SIGTERM।

जब OpenClaw को WSL2, Restart=always के साथ सक्षम ollama.service, और दृश्यमान CUDA मार्कर मिलते हैं, तो वह स्टार्टअप चेतावनी लॉग करता है।

निवारण:

sudo systemctl disable ollama

Windows की ओर, इसे %USERPROFILE%\.wslconfig में जोड़ें, फिर wsl --shutdown चलाएँ:

[experimental]autoMemoryReclaim=disabled

या keep-alive अवधि घटाएँ / Ollama को केवल आवश्यकता होने पर मैन्युअल रूप से शुरू करें:

export OLLAMA_KEEP_ALIVE=5mollama serve

ollama/ollama#11317 देखें।

पुष्टि करें कि Ollama चल रहा है, OLLAMA_API_KEY (या कोई प्रमाणीकरण प्रोफ़ाइल) सेट है, और models.providers.ollama स्पष्ट रूप से परिभाषित नहीं है:

ollama servecurl http://localhost:11434/api/tags

मॉडल को स्थानीय रूप से पुल करें, या उसे models.providers.ollama में स्पष्ट रूप से परिभाषित करें:

ollama list  # देखें कि क्या इंस्टॉल हैollama pull gemma4ollama pull gpt-oss:20bollama pull llama3.3     # या कोई अन्य मॉडल

उसी मशीन और रनटाइम से सत्यापित करें जो Gateway चलाता है:

openclaw gateway status --deepcurl http://ollama-host:11434/api/tags

सामान्य कारण:

• baseUrl localhost की ओर संकेत करता है, लेकिन Gateway Docker या किसी अन्य होस्ट पर चलता है।
• URL /v1 का उपयोग करता है, जिससे नेटिव Ollama के बजाय OpenAI-संगत व्यवहार चुना जाता है।
• दूरस्थ होस्ट को फ़ायरवॉल या LAN बाइंडिंग में बदलाव की आवश्यकता है।
• मॉडल आपके लैपटॉप के डेमन पर है, लेकिन दूरस्थ डेमन पर नहीं।

आमतौर पर प्रदाता OpenAI-संगत मोड में होता है, या मॉडल टूल स्कीमा को संभाल नहीं सकता। नेटिव मोड को प्राथमिकता दें:

{  models: {    providers: {      ollama: {        baseUrl: "http://ollama-host:11434",        api: "ollama",      },    },  },}

यदि कोई छोटा स्थानीय मॉडल टूल स्कीमा पर फिर भी विफल होता है, तो उस मॉडल प्रविष्टि पर compat.supportsTools: false सेट करें और दोबारा परीक्षण करें।

होस्ट किए गए Kimi/GLM प्रत्युत्तर, जो लंबे गैर-भाषाई प्रतीक क्रम होते हैं, सफल उत्तर के बजाय विफल प्रदाता कॉल माने जाते हैं, ताकि दूषित टेक्स्ट को सत्र में बनाए रखने के बजाय सामान्य पुनः प्रयास/फ़ॉलबैक/त्रुटि प्रबंधन लागू हो सके।

यदि यह फिर होता है, तो मॉडल का नाम, वर्तमान सत्र फ़ाइल, और रन में Cloud + Local या Cloud only में से किसका उपयोग हुआ था, इसे कैप्चर करें; फिर एक नया सत्र और फ़ॉलबैक मॉडल आज़माएँ:

openclaw infer model run --model ollama/kimi-k2.5:cloud --prompt "Reply with exactly: ok" --jsonopenclaw models set ollama/gemma4

बड़े स्थानीय मॉडलों को पहली बार लोड होने में लंबा समय लग सकता है। टाइमआउट को Ollama प्रदाता तक सीमित करें और वैकल्पिक रूप से मॉडल को टर्नों के बीच लोड रखा जाए:

{  models: {    providers: {      ollama: {        timeoutSeconds: 300,        models: [          {            id: "gemma4:26b",            name: "gemma4:26b",            params: { keep_alive: "15m" },          },        ],      },    },  },}

यदि होस्ट स्वयं कनेक्शन स्वीकार करने में धीमा है, तो timeoutSeconds इस प्रदाता के लिए संरक्षित कनेक्ट टाइमआउट भी बढ़ाता है।

कई मॉडल ऐसे कॉन्टेक्स्ट का विज्ञापन करते हैं जिन्हें आपका हार्डवेयर सहजता से नहीं चला सकता। नेटिव Ollama अपने रनटाइम डिफ़ॉल्ट का उपयोग करता है, जब तक कि params.num_ctx सेट न हो। पूर्वानुमेय प्रथम-टोकन विलंबता के लिए OpenClaw के बजट और Ollama के अनुरोध कॉन्टेक्स्ट, दोनों को सीमित करें:

{  models: {    providers: {      ollama: {        contextWindow: 32768,        maxTokens: 8192,        models: [          {            id: "qwen3.5:9b",            name: "qwen3.5:9b",            params: { num_ctx: 32768, thinking: false },          },        ],      },    },  },}

यदि OpenClaw बहुत अधिक प्रॉम्प्ट भेजता है, तो contextWindow घटाएँ। यदि Ollama का रनटाइम कॉन्टेक्स्ट मशीन के लिए बहुत बड़ा है, तो params.num_ctx घटाएँ। यदि जनरेशन बहुत लंबा चलता है, तो maxTokens घटाएँ।