Yerel modeller
Yerel kullanım mümkündür, ancak OpenClaw geniş bağlam ve prompt injection’a karşı güçlü savunmalar bekler. Küçük kartlar bağlamı kırpar ve güvenliği zayıflatır. Hedefinizi yüksek tutun: ≥2 tam donanımlı Mac Studio veya eşdeğer GPU sistemi (~30 bin $+). Tek bir 24 GB GPU yalnızca daha hafif istemlerde ve daha yüksek gecikmeyle işe yarar. Çalıştırabildiğiniz en büyük / tam boyutlu model varyantını kullanın; aşırı kuantize edilmiş veya “küçük” checkpoint’ler prompt injection riskini artırır (bkz. Security). En düşük sürtünmeli yerel kurulum için Ollama veopenclaw onboard ile başlayın. Bu sayfa, daha üst düzey yerel yığınlar ve özel OpenAI uyumlu yerel sunucular için görüşlü rehberdir.
Önerilen: LM Studio + büyük yerel model (Responses API)
Şu anda en iyi yerel yığın. LM Studio’da büyük bir model yükleyin (örneğin tam boyutlu bir Qwen, DeepSeek veya Llama derlemesi), yerel sunucuyu etkinleştirin (varsayılanhttp://127.0.0.1:1234) ve muhakemeyi nihai metinden ayrı tutmak için Responses API kullanın.
- LM Studio’yu kurun: https://lmstudio.ai
- LM Studio içinde, mevcut en büyük model derlemesini indirin (“small”/ağır kuantize edilmiş varyantlardan kaçının), sunucuyu başlatın ve
http://127.0.0.1:1234/v1/modelsçıktısında göründüğünü doğrulayın. my-local-modeldeğerini LM Studio’da gösterilen gerçek model kimliğiyle değiştirin.- Modeli yüklü tutun; soğuk yükleme başlangıç gecikmesi ekler.
- LM Studio derlemeniz farklıysa
contextWindow/maxTokensdeğerlerini ayarlayın. - WhatsApp için yalnızca nihai metnin gönderilmesi adına Responses API’ye bağlı kalın.
models.mode: "merge" kullanın.
Karma yapılandırma: birincil barındırılan, geri dönüş yerel
Yerel öncelikli, barındırılan güvenlik ağıyla
Birincil ve geri dönüş sırasını değiştirin; aynı provider bloğunu vemodels.mode: "merge" ayarını koruyun; böylece yerel kutu kapalı olduğunda Sonnet veya Opus’a geri dönebilirsiniz.
Bölgesel barındırma / veri yönlendirme
- Barındırılan MiniMax/Kimi/GLM varyantları, bölgeye sabitlenmiş uç noktalarla OpenRouter üzerinde de bulunur (ör. ABD’de barındırılan). Trafiği seçtiğiniz yargı alanında tutarken Anthropic/OpenAI geri dönüşleri için yine
models.mode: "merge"kullanabilmek adına oradaki bölgesel varyantı seçin. - Tam yerel kullanım en güçlü gizlilik yoludur; barındırılan bölgesel yönlendirme ise sağlayıcı özelliklerine ihtiyaç duyduğunuz ama veri akışı üzerinde denetim istediğiniz durumlarda orta yoldur.
Diğer OpenAI uyumlu yerel proxy’ler
vLLM, LiteLLM, OAI-proxy veya özel gateway’ler, OpenAI tarzı bir/v1 uç noktası sunuyorsa çalışır. Yukarıdaki provider bloğunu kendi uç noktanız ve model kimliğinizle değiştirin:
models.mode: "merge" ayarını koruyun.
Yerel/proxy’lenmiş /v1 backend’leri için davranış notu:
- OpenClaw bunları yerel OpenAI uç noktaları değil, proxy tarzı OpenAI uyumlu rotalar olarak ele alır
- Burada yerel OpenAI’ye özgü istek şekillendirmesi uygulanmaz:
service_tieryoktur, Responsesstoreyoktur, OpenAI reasoning-compat payload şekillendirmesi yoktur ve prompt-cache ipuçları yoktur - Gizli OpenClaw atıf başlıkları (
originator,version,User-Agent) bu özel proxy URL’lerine eklenmez
Sorun giderme
- Gateway proxy’ye ulaşabiliyor mu?
curl http://127.0.0.1:1234/v1/models. - LM Studio modeli yüklenmemiş mi? Yeniden yükleyin; soğuk başlangıç, yaygın bir “takılı kalma” nedenidir.
- Bağlam hataları mı var?
contextWindowdeğerini düşürün veya sunucu sınırınızı artırın. - Güvenlik: yerel modeller sağlayıcı tarafı filtreleri atlar; prompt injection etki alanını sınırlamak için agent’ları dar tutun ve kompaktlamayı açık bırakın.