Chuyển đến nội dung chính

Documentation Index

Fetch the complete documentation index at: https://docs.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

inferrs có thể phục vụ các mô hình cục bộ phía sau API /v1 tương thích với OpenAI. OpenClaw hoạt động với inferrs thông qua đường dẫn openai-completions chung. inferrs hiện nên được xem là backend tương thích với OpenAI tự lưu trữ tùy chỉnh, chứ không phải Plugin nhà cung cấp OpenClaw chuyên dụng.

​
Bắt đầu

1

Khởi động inferrs với một mô hình

inferrs serve google/gemma-4-E2B-it \
  --host 127.0.0.1 \
  --port 8080 \
  --device metal
2

Xác minh máy chủ có thể truy cập được

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/v1/models
3

Thêm một mục nhà cung cấp OpenClaw

Thêm một mục nhà cung cấp rõ ràng và trỏ mô hình mặc định của bạn đến mục đó. Xem ví dụ cấu hình đầy đủ bên dưới.

​
Ví dụ cấu hình đầy đủ

Ví dụ này dùng Gemma 4 trên một máy chủ inferrs cục bộ. 
{
  agents: {
    defaults: {
      model: { primary: "inferrs/google/gemma-4-E2B-it" },
      models: {
        "inferrs/google/gemma-4-E2B-it": {
          alias: "Gemma 4 (inferrs)",
        },
      },
    },
  },
  models: {
    mode: "merge",
    providers: {
      inferrs: {
        baseUrl: "http://127.0.0.1:8080/v1",
        apiKey: "inferrs-local",
        api: "openai-completions",
        models: [
          {
            id: "google/gemma-4-E2B-it",
            name: "Gemma 4 E2B (inferrs)",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 131072,
            maxTokens: 4096,
            compat: {
              requiresStringContent: true,
            },
          },
        ],
      },
    },
  },
}

​
Cấu hình nâng cao

Một số tuyến Chat Completions của inferrs chỉ chấp nhận messages[].content dạng chuỗi, không phải mảng phần nội dung có cấu trúc.
Nếu các lần chạy OpenClaw thất bại với lỗi như:
messages[1].content: invalid type: sequence, expected a string
hãy đặt compat.requiresStringContent: true trong mục mô hình của bạn.
compat: {
  requiresStringContent: true
}
OpenClaw sẽ làm phẳng các phần nội dung thuần văn bản thành chuỗi thông thường trước khi gửi yêu cầu.
Một số kết hợp inferrs + Gemma hiện tại chấp nhận các yêu cầu /v1/chat/completions trực tiếp nhỏ nhưng vẫn thất bại trong các lượt agent-runtime đầy đủ của OpenClaw.Nếu điều đó xảy ra, trước tiên hãy thử:
compat: {
  requiresStringContent: true,
  supportsTools: false
}
Cấu hình đó tắt bề mặt lược đồ công cụ của OpenClaw cho mô hình và có thể giảm áp lực prompt lên các backend cục bộ nghiêm ngặt hơn.Nếu các yêu cầu trực tiếp rất nhỏ vẫn hoạt động nhưng các lượt agent OpenClaw thông thường tiếp tục sập bên trong inferrs, vấn đề còn lại thường là hành vi của mô hình/máy chủ upstream hơn là lớp truyền tải của OpenClaw.
Sau khi cấu hình xong, hãy kiểm thử cả hai lớp:
curl http://127.0.0.1:8080/v1/chat/completions \
  -H 'content-type: application/json' \
  -d '{"model":"google/gemma-4-E2B-it","messages":[{"role":"user","content":"What is 2 + 2?"}],"stream":false}'

openclaw infer model run \
  --model inferrs/google/gemma-4-E2B-it \
  --prompt "What is 2 + 2? Reply with one short sentence." \
  --json
Nếu lệnh đầu tiên hoạt động nhưng lệnh thứ hai thất bại, hãy kiểm tra phần khắc phục sự cố bên dưới.
inferrs được xem là backend /v1 tương thích với OpenAI theo kiểu proxy, không phải endpoint OpenAI gốc.
  • Định hình yêu cầu chỉ dành cho OpenAI gốc không áp dụng ở đây
  • Không có service_tier, không có Responses store, không có gợi ý prompt-cache, và không có định hình payload tương thích reasoning của OpenAI
  • Các header ghi công OpenClaw ẩn (originator, version, User-Agent) không được chèn vào các URL cơ sở inferrs tùy chỉnh

​
Khắc phục sự cố

inferrs không chạy, không thể truy cập, hoặc không được bind vào host/port mong đợi. Hãy bảo đảm máy chủ đã được khởi động và đang lắng nghe trên địa chỉ bạn đã cấu hình.
Đặt compat.requiresStringContent: true trong mục mô hình. Xem phần requiresStringContent ở trên để biết chi tiết.
Thử đặt compat.supportsTools: false để tắt bề mặt lược đồ công cụ. Xem lưu ý về tool-schema của Gemma ở trên.
Nếu OpenClaw không còn gặp lỗi lược đồ nhưng inferrs vẫn sập trên các lượt agent lớn hơn, hãy xem đây là giới hạn của inferrs upstream hoặc mô hình. Giảm áp lực prompt hoặc chuyển sang một backend cục bộ hoặc mô hình khác.
Để được trợ giúp chung, xem Khắc phục sự cố và FAQ.

​
Liên quan

Mô hình cục bộ

Chạy OpenClaw với các máy chủ mô hình cục bộ.

Khắc phục sự cố Gateway

Gỡ lỗi các backend cục bộ tương thích với OpenAI vượt qua probe nhưng thất bại khi chạy agent.

Chọn mô hình

Tổng quan về tất cả nhà cung cấp, tham chiếu mô hình, và hành vi failover.