Ollama

स्थानीय और LAN Ollama होस्ट को वास्तविक bearer token की आवश्यकता नहीं होती। OpenClaw केवल loopback, private-network, .local, और bare-hostname Ollama base URLs के लिए स्थानीय ollama-local marker का उपयोग करता है।

Remote public hosts और Ollama Cloud (https://ollama.com) को OLLAMA_API_KEY, auth profile, या provider के apiKey के माध्यम से वास्तविक credential की आवश्यकता होती है। सीधे hosted उपयोग के लिए, provider ollama-cloud को प्राथमिकता दें।

api: "ollama" सेट करने वाले custom provider ids समान नियमों का पालन करते हैं। उदाहरण के लिए, निजी LAN Ollama host की ओर संकेत करने वाला ollama-remote provider apiKey: "ollama-local" का उपयोग कर सकता है और sub-agents उस marker को missing credential मानने के बजाय Ollama provider hook के माध्यम से resolve करेंगे। Memory search agents.defaults.memorySearch.provider को उस custom provider id पर भी सेट कर सकता है ताकि embeddings मेल खाते Ollama endpoint का उपयोग करें।

auth-profiles.json किसी provider id के लिए credential संग्रहीत करता है। Endpoint settings (baseUrl, api, model ids, headers, timeouts) को models.providers.<id> में रखें। पुराने flat auth-profile files जैसे { "ollama-windows": { "apiKey": "ollama-local" } } runtime format नहीं हैं; उन्हें backup के साथ canonical ollama-windows:default API-key profile में फिर से लिखने के लिए openclaw doctor --fix चलाएँ। उस file में baseUrl compatibility noise है और उसे provider config में ले जाना चाहिए।

जब Ollama का उपयोग memory embeddings के लिए किया जाता है, तो bearer auth उसी host तक scoped होता है जहाँ उसे घोषित किया गया था:

• Provider-level key केवल उस provider के Ollama host को भेजी जाती है।
• agents.*.memorySearch.remote.apiKey केवल उसके remote embedding host को भेजी जाती है।
• शुद्ध OLLAMA_API_KEY env value को Ollama Cloud convention माना जाता है, और default रूप से स्थानीय या self-hosted hosts को नहीं भेजा जाता।

इसका उपयोग तब करें जब Ollama Gateway वाली उसी मशीन पर चलता है और आप चाहते हैं कि OpenClaw इंस्टॉल किए गए मॉडल्स को अपने आप खोजे।

ollama serveollama pull gemma4export OLLAMA_API_KEY="ollama-local"openclaw models list --provider ollamaopenclaw models set ollama/gemma4

यह पाथ कॉन्फ़िग को न्यूनतम रखता है। जब तक आप मॉडल्स मैन्युअली परिभाषित नहीं करना चाहते, models.providers.ollama ब्लॉक न जोड़ें।

LAN होस्ट्स के लिए नेटिव Ollama URLs उपयोग करें। /v1 न जोड़ें।

{  models: {    providers: {      ollama: {        baseUrl: "http://gpu-box.local:11434",        apiKey: "ollama-local",        api: "ollama",        timeoutSeconds: 300,        contextWindow: 32768,        maxTokens: 8192,        models: [          {            id: "qwen3.5:9b",            name: "qwen3.5:9b",            reasoning: true,            input: ["text"],            params: {              num_ctx: 32768,              thinking: false,              keep_alive: "15m",            },          },        ],      },    },  },  agents: {    defaults: {      model: { primary: "ollama/qwen3.5:9b" },    },  },}

contextWindow OpenClaw-साइड कॉन्टेक्स्ट बजट है। params.num_ctx अनुरोध के लिए Ollama को भेजा जाता है। जब आपका हार्डवेयर मॉडल के पूरे विज्ञापित कॉन्टेक्स्ट को नहीं चला सकता, तो इन्हें संरेखित रखें।

इसका उपयोग तब करें जब आप लोकल डेमन नहीं चलाते और सीधे होस्टेड Ollama मॉडल्स चाहते हैं।

export OLLAMA_API_KEY="your-ollama-api-key"

{  models: {    providers: {      ollama: {        baseUrl: "https://ollama.com",        apiKey: "OLLAMA_API_KEY",        api: "ollama",        models: [          {            id: "kimi-k2.5:cloud",            name: "kimi-k2.5:cloud",            reasoning: false,            input: ["text", "image"],            contextWindow: 128000,            maxTokens: 8192,          },        ],      },    },  },  agents: {    defaults: {      model: { primary: "ollama/kimi-k2.5:cloud" },    },  },}

इसका उपयोग तब करें जब लोकल या LAN Ollama डेमन ollama signin के साथ साइन इन है और उसे लोकल मॉडल्स और :cloud मॉडल्स दोनों सर्व करने चाहिए।

ollama signinollama pull gemma4

{  models: {    providers: {      ollama: {        baseUrl: "http://127.0.0.1:11434",        apiKey: "ollama-local",        api: "ollama",        timeoutSeconds: 300,        models: [          { id: "gemma4", name: "gemma4", input: ["text"] },          { id: "kimi-k2.5:cloud", name: "kimi-k2.5:cloud", input: ["text", "image"] },        ],      },    },  },  agents: {    defaults: {      model: {        primary: "ollama/gemma4",        fallbacks: ["ollama/kimi-k2.5:cloud"],      },    },  },}

जब आपके पास एक से अधिक Ollama सर्वर हों, तब कस्टम प्रदाता IDs का उपयोग करें। प्रत्येक प्रदाता को अपना होस्ट, मॉडल्स, ऑथ, टाइमआउट, और मॉडल रेफ़्स मिलते हैं।

{  models: {    providers: {      "ollama-fast": {        baseUrl: "http://mini.local:11434",        apiKey: "ollama-local",        api: "ollama",        contextWindow: 32768,        models: [{ id: "gemma4", name: "gemma4", input: ["text"] }],      },      "ollama-large": {        baseUrl: "http://gpu-box.local:11434",        apiKey: "ollama-local",        api: "ollama",        timeoutSeconds: 420,        contextWindow: 131072,        maxTokens: 16384,        models: [{ id: "qwen3.5:27b", name: "qwen3.5:27b", input: ["text"] }],      },    },  },  agents: {    defaults: {      model: {        primary: "ollama-fast/gemma4",        fallbacks: ["ollama-large/qwen3.5:27b"],      },    },  },}

जब OpenClaw अनुरोध भेजता है, तो सक्रिय प्रदाता prefix हटा दिया जाता है ताकि ollama-large/qwen3.5:27b Ollama तक qwen3.5:27b के रूप में पहुंचे।

कुछ स्थानीय मॉडल सरल prompts का उत्तर दे सकते हैं, लेकिन पूरे agent tool surface के साथ संघर्ष करते हैं। वैश्विक runtime settings बदलने से पहले tools और context को सीमित करके शुरू करें।

{  agents: {    list: [      {        id: "local",        experimental: {          localModelLean: true,        },        model: { primary: "ollama/gemma4" },      },    ],  },  models: {    providers: {      ollama: {        baseUrl: "http://127.0.0.1:11434",        apiKey: "ollama-local",        api: "ollama",        contextWindow: 32768,        models: [          {            id: "gemma4",            name: "gemma4",            input: ["text"],            params: { num_ctx: 32768 },            compat: { supportsTools: false },          },        ],      },    },  },}

compat.supportsTools: false का उपयोग केवल तब करें जब मॉडल या server tool schemas पर विश्वसनीय रूप से विफल होता हो। यह स्थिरता के लिए agent capability का समझौता करता है। localModelLean direct agent surface से browser, cron, और message tools को हटाता है और बड़े catalogs को structured Tool Search controls के पीछे default करता है, सिवाय तब जब किसी run को direct message delivery semantics बनाए रखना जरूरी हो, लेकिन यह Ollama के runtime context या thinking mode को नहीं बदलता। छोटे Qwen-शैली thinking models के लिए इसे explicit params.num_ctx और params.thinking: false के साथ जोड़ें, जो loop करते हैं या अपना response budget hidden reasoning पर खर्च करते हैं।

यदि आपको इसके बजाय OpenAI-compatible endpoint का उपयोग करना है (उदाहरण के लिए, ऐसे proxy के पीछे जो केवल OpenAI format का समर्थन करता है), तो api: "openai-completions" स्पष्ट रूप से set करें:

{  models: {    providers: {      ollama: {        baseUrl: "http://ollama-host:11434/v1",        api: "openai-completions",        injectNumCtxForOpenAICompat: true, // default: true        apiKey: "ollama-local",        models: [...]      }    }  }}

यह mode streaming और tool calling को साथ-साथ support नहीं कर सकता। आपको model config में params: { streaming: false } के साथ streaming disable करनी पड़ सकती है।

जब Ollama के साथ api: "openai-completions" उपयोग किया जाता है, तो OpenClaw default रूप से options.num_ctx inject करता है ताकि Ollama चुपचाप 4096 context window पर वापस न चला जाए। यदि आपका proxy/upstream अज्ञात options fields को reject करता है, तो इस behavior को disable करें:

{  models: {    providers: {      ollama: {        baseUrl: "http://ollama-host:11434/v1",        api: "openai-completions",        injectNumCtxForOpenAICompat: false,        apiKey: "ollama-local",        models: [...]      }    }  }}

Auto-discovered models के लिए, OpenClaw उपलब्ध होने पर Ollama द्वारा report की गई context window का उपयोग करता है, जिसमें custom Modelfiles से बड़े PARAMETER num_ctx values शामिल हैं। अन्यथा यह OpenClaw द्वारा उपयोग की जाने वाली default Ollama context window पर fallback करता है।

आप उस Ollama provider के अंतर्गत हर model के लिए provider-level contextWindow, contextTokens, और maxTokens defaults set कर सकते हैं, फिर जरूरत पड़ने पर per model उन्हें override कर सकते हैं। contextWindow OpenClaw का prompt और compaction budget है। Native Ollama requests options.num_ctx को unset छोड़ते हैं जब तक आप स्पष्ट रूप से params.num_ctx configure न करें, ताकि Ollama अपना model, OLLAMA_CONTEXT_LENGTH, या VRAM-based default लागू कर सके। Modelfile rebuild किए बिना Ollama के per-request runtime context को cap या force करने के लिए, params.num_ctx set करें; invalid, zero, negative, और non-finite values ignore किए जाते हैं। यदि आपने पुराने config को upgrade किया है जो native Ollama request context को force करने के लिए केवल contextWindow या maxTokens का उपयोग करता था, तो उन explicit provider या model budgets को params.num_ctx में copy करने के लिए openclaw doctor --fix चलाएं। OpenAI-compatible Ollama adapter अब भी configured params.num_ctx या contextWindow से default रूप से options.num_ctx inject करता है; यदि आपका upstream options reject करता है, तो उसे injectNumCtxForOpenAICompat: false के साथ disable करें।

Native Ollama model entries params के अंतर्गत common Ollama runtime options भी accept करती हैं, जिनमें temperature, top_p, top_k, min_p, num_predict, stop, repeat_penalty, num_batch, num_thread, और use_mmap शामिल हैं। OpenClaw केवल Ollama request keys forward करता है, इसलिए streaming जैसे OpenClaw runtime params Ollama तक leak नहीं होते। Top-level Ollama think भेजने के लिए params.think या params.thinking का उपयोग करें; false Qwen-शैली thinking models के लिए API-level thinking disable करता है।

{  models: {    providers: {      ollama: {        contextWindow: 32768,        models: [          {            id: "llama3.3",            contextWindow: 131072,            maxTokens: 65536,            params: {              num_ctx: 32768,              temperature: 0.7,              top_p: 0.9,              thinking: false,            },          }        ]      }    }  }}

Per-model agents.defaults.models["ollama/<model>"].params.num_ctx भी काम करता है। यदि दोनों configured हैं, तो explicit provider model entry agent default पर प्राथमिकता पाती है।

Native Ollama models के लिए, OpenClaw thinking control को उसी तरह forward करता है जैसे Ollama अपेक्षा करता है: top-level think, options.think नहीं। Auto-discovered models जिनकी /api/show response में thinking capability शामिल है, /think low, /think medium, /think high, और /think max expose करते हैं; non-thinking models केवल /think off expose करते हैं।

openclaw agent --model ollama/gemma4 --thinking offopenclaw agent --model ollama/gemma4 --thinking low

आप model default भी set कर सकते हैं:

{  agents: {    defaults: {      models: {        "ollama/gemma4": {          thinking: "low",        },      },    },  },}

Per-model params.think या params.thinking किसी specific configured model के लिए Ollama API thinking को disable या force कर सकता है। OpenClaw उन explicit model params को preserve करता है जब active run में केवल implicit default off होता है; /think medium जैसे non-off runtime commands अब भी active run को override करते हैं।

OpenClaw deepseek-r1, reasoning, या think जैसे नामों वाले models को default रूप से reasoning-capable मानता है।

ollama pull deepseek-r1:32b

कोई अतिरिक्त configuration जरूरी नहीं है। OpenClaw उन्हें automatically mark करता है।

Ollama free है और locally चलता है, इसलिए सभी model costs $0 पर set किए जाते हैं। यह auto-discovered और manually defined दोनों models पर लागू होता है।

बंडल किया गया Ollama plugin मेमोरी खोज के लिए एक मेमोरी एम्बेडिंग provider पंजीकृत करता है। यह कॉन्फ़िगर किए गए Ollama base URL और API कुंजी का उपयोग करता है, Ollama के वर्तमान /api/embed endpoint को कॉल करता है, और संभव होने पर कई मेमोरी chunks को एक input अनुरोध में batch करता है।

जब proxy.enabled=true होता है, तो कॉन्फ़िगर किए गए baseUrl से निकले ठीक host-local loopback origin पर Ollama मेमोरी एम्बेडिंग अनुरोध managed forward proxy के बजाय OpenClaw के guarded direct path का उपयोग करते हैं। कॉन्फ़िगर किया गया hostname स्वयं localhost या कोई loopback IP literal होना चाहिए; DNS नाम जो केवल loopback पर resolve होते हैं, वे फिर भी managed proxy path का उपयोग करते हैं। LAN, tailnet, private-network, और public Ollama hosts भी managed proxy path पर ही रहते हैं। किसी दूसरे host या port पर redirects trust inherit नहीं करते। Operators फिर भी loopback traffic को proxy के माध्यम से भेजने के लिए global proxy.loopbackMode: "proxy" setting सेट कर सकते हैं, या connection खोलने से पहले loopback connections को deny करने के लिए proxy.loopbackMode: "block" सेट कर सकते हैं; इस setting के process-wide प्रभाव के लिए Managed proxy देखें।

Query-time embeddings उन models के लिए retrieval prefixes का उपयोग करते हैं जिन्हें उनकी आवश्यकता होती है या जिनके लिए वे recommended हैं, जिनमें nomic-embed-text, qwen3-embedding, और mxbai-embed-large शामिल हैं। मेमोरी document batches raw रहती हैं ताकि existing indexes को format migration की आवश्यकता न पड़े।

Ollama को memory search embedding provider के रूप में चुनने के लिए:

{  agents: {    defaults: {      memorySearch: {        provider: "ollama",        remote: {          // Default for Ollama. Raise on larger hosts if reindexing is too slow.          nonBatchConcurrency: 1,        },      },    },  },}

remote embedding host के लिए, auth को उसी host तक scoped रखें:

{  agents: {    defaults: {      memorySearch: {        provider: "ollama",        model: "nomic-embed-text",        remote: {          baseUrl: "http://gpu-box.local:11434",          apiKey: "ollama-local",          nonBatchConcurrency: 2,        },      },    },  },}

OpenClaw का Ollama integration default रूप से native Ollama API (/api/chat) का उपयोग करता है, जो streaming और tool calling दोनों को एक साथ पूरी तरह support करता है। किसी विशेष configuration की आवश्यकता नहीं है।

native /api/chat अनुरोधों के लिए, OpenClaw thinking control को भी सीधे Ollama तक forward करता है: /think off और openclaw agent --thinking off top-level think: false भेजते हैं, जब तक कि कोई explicit model params.think/params.thinking value configured न हो, जबकि /think low|medium|high matching top-level think effort string भेजते हैं। /think max Ollama के highest native effort, think: "high" पर map होता है।

NVIDIA/CUDA के साथ WSL2 पर, official Ollama Linux installer Restart=always के साथ एक ollama.service systemd unit बनाता है। यदि वह service autostart होती है और WSL2 boot के दौरान GPU-backed model load करती है, तो model load होते समय Ollama host memory को pin कर सकता है। Hyper-V memory reclaim हमेशा उन pinned pages को reclaim नहीं कर पाता, इसलिए Windows WSL2 VM को terminate कर सकता है, systemd Ollama को फिर से शुरू करता है, और loop दोहराता है।

सामान्य evidence:

• Windows side से बार-बार WSL2 reboot या termination
• WSL2 startup के तुरंत बाद app.slice या ollama.service में high CPU
• Linux OOM-killer event के बजाय systemd से SIGTERM

OpenClaw startup warning log करता है जब उसे WSL2, Restart=always के साथ enabled ollama.service, और visible CUDA markers मिलते हैं।

Mitigation:

sudo systemctl disable ollama

इसे Windows side पर %USERPROFILE%\.wslconfig में जोड़ें, फिर wsl --shutdown चलाएँ:

[experimental]autoMemoryReclaim=disabled

Ollama service environment में shorter keep-alive सेट करें, या Ollama को केवल जरूरत पड़ने पर manually start करें:

export OLLAMA_KEEP_ALIVE=5mollama serve

ollama/ollama#11317 देखें।

सुनिश्चित करें कि Ollama चल रहा है और आपने OLLAMA_API_KEY (या कोई auth profile) सेट किया है, और आपने explicit models.providers.ollama entry define नहीं की है:

ollama serve

सत्यापित करें कि API accessible है:

curl http://localhost:11434/api/tags

यदि आपका model सूचीबद्ध नहीं है, तो model को locally pull करें या उसे models.providers.ollama में explicitly define करें।

ollama list  # See what's installedollama pull gemma4ollama pull gpt-oss:20bollama pull llama3.3     # Or another model

जाँचें कि Ollama सही port पर चल रहा है:

# Check if Ollama is runningps aux | grep ollama # Or restart Ollamaollama serve

उसी machine और runtime से सत्यापित करें जो Gateway चलाता है:

openclaw gateway status --deepcurl http://ollama-host:11434/api/tags

सामान्य कारण:

• baseUrl localhost की ओर point करता है, लेकिन Gateway Docker में या किसी दूसरे host पर चलता है।
• URL /v1 का उपयोग करता है, जो native Ollama के बजाय OpenAI-compatible behavior चुनता है।
• remote host को Ollama side पर firewall या LAN binding changes की आवश्यकता है।
• model आपके laptop के daemon पर मौजूद है, लेकिन remote daemon पर नहीं।

इसका आम तौर पर मतलब है कि provider OpenAI-compatible mode का उपयोग कर रहा है या model tool schemas handle नहीं कर सकता।

native Ollama mode को prefer करें:

{  models: {    providers: {      ollama: {        baseUrl: "http://ollama-host:11434",        api: "ollama",      },    },  },}

यदि कोई छोटा local model फिर भी tool schemas पर fail होता है, तो उस model entry पर compat.supportsTools: false सेट करें और retest करें।

Hosted Kimi/GLM responses जो लंबे, non-linguistic symbol runs होते हैं, उन्हें successful assistant answer के बजाय failed provider output माना जाता है। इससे corrupted text को session में persist किए बिना normal retry, fallback, या error handling take over कर सकते हैं।

यदि यह बार-बार होता है, तो raw model name, current session file, और यह कि run ने Cloud + Local या Cloud only का उपयोग किया था, capture करें, फिर fresh session और fallback model आज़माएँ:

openclaw infer model run --model ollama/kimi-k2.5:cloud --prompt "Reply with exactly: ok" --jsonopenclaw models set ollama/gemma4

बड़े local models को streaming शुरू होने से पहले लंबे first load की आवश्यकता हो सकती है। timeout को Ollama provider तक scoped रखें, और वैकल्पिक रूप से Ollama से turns के बीच model को loaded रखने के लिए कहें:

{  models: {    providers: {      ollama: {        timeoutSeconds: 300,        models: [          {            id: "gemma4:26b",            name: "gemma4:26b",            params: { keep_alive: "15m" },          },        ],      },    },  },}

यदि host स्वयं connections accept करने में धीमा है, तो timeoutSeconds इस provider के लिए guarded Undici connect timeout को भी extend करता है।

कई Ollama models ऐसे contexts advertise करते हैं जो आपके hardware के आराम से चलाने की क्षमता से बड़े होते हैं। Native Ollama अपना runtime context default उपयोग करता है, जब तक कि आप params.num_ctx सेट न करें। जब आपको predictable first-token latency चाहिए, तो OpenClaw के budget और Ollama के request context दोनों को cap करें:

{  models: {    providers: {      ollama: {        contextWindow: 32768,        maxTokens: 8192,        models: [          {            id: "qwen3.5:9b",            name: "qwen3.5:9b",            params: { num_ctx: 32768, thinking: false },          },        ],      },    },  },}

यदि OpenClaw बहुत अधिक prompt भेज रहा है, तो पहले contextWindow घटाएँ। यदि Ollama machine के लिए बहुत बड़ा runtime context load कर रहा है, तो params.num_ctx घटाएँ। यदि generation बहुत लंबा चलता है, तो maxTokens घटाएँ।