Các luồng chuyên trách song song cho phép một Gateway định tuyến các cuộc trò chuyện hoặc phòng khác nhau đến các tác nhân khác nhau, đồng thời giữ cho trải nghiệm người dùng nhanh. Bí quyết là xem song song hóa như một bài toán thiết kế với tài nguyên khan hiếm, chứ không chỉ là “nhiều tác nhân hơn”.Documentation Index
Fetch the complete documentation index at: https://docs.openclaw.ai/llms.txt
Use this file to discover all available pages before exploring further.
Nguyên tắc đầu tiên
Một luồng chuyên trách chỉ cải thiện thông lượng khi nó giảm tranh chấp đối với những nút thắt cổ chai thực sự:- Khóa phiên: chỉ một lượt chạy nên thay đổi một phiên nhất định tại một thời điểm.
- Năng lực mô hình toàn cục: mọi lượt chạy trò chuyện hiển thị vẫn dùng chung giới hạn của nhà cung cấp.
- Năng lực công cụ: shell, trình duyệt, mạng và công việc trên kho mã có thể chậm hơn chính lượt mô hình.
- Ngân sách ngữ cảnh: bản ghi dài làm mọi lượt sau này chậm hơn và kém tập trung hơn.
- Mơ hồ về quyền sở hữu: các tác nhân trùng lặp làm cùng một việc sẽ lãng phí năng lực.
Lộ trình triển khai được khuyến nghị
Giai đoạn 1: hợp đồng luồng + công việc nặng chạy nền
Cung cấp cho mỗi luồng một hợp đồng bằng văn bản trong workspace và system prompt của nó:- Mục đích: công việc mà luồng này sở hữu.
- Không phải mục tiêu: công việc nó nên chuyển giao thay vì tự thực hiện.
- Ngân sách trò chuyện: câu trả lời nhanh ở lại trong trò chuyện; tác vụ dài nên xác nhận ngắn gọn, rồi chạy trong một tác nhân phụ hoặc tác vụ nền.
- Quy tắc chuyển giao: khi một luồng khác sở hữu công việc, nói rõ nên chuyển đến đâu và cung cấp bản tóm tắt chuyển giao gọn.
- Quy tắc rủi ro công cụ: ưu tiên bề mặt công cụ nhỏ nhất có thể hoàn thành việc.
Giai đoạn 2: kiểm soát ưu tiên và đồng thời
Điều chỉnh hàng đợi và năng lực mô hình quanh giá trị kinh doanh của từng luồng:Giai đoạn 3: điều phối viên / bộ điều khiển lưu lượng
Thêm một mẫu điều phối viên nhỏ khi nhiều luồng đã hoạt động:- Theo dõi các tác vụ và chủ sở hữu đang hoạt động của luồng.
- Phát hiện yêu cầu trùng lặp giữa các nhóm.
- Định tuyến bản tóm tắt chuyển giao giữa các luồng.
- Chỉ hiển thị các điểm chặn, kết quả hoàn tất và quyết định con người phải đưa ra.