การแคชพรอมต์

การแคชพรอมต์ช่วยให้ผู้ให้บริการโมเดลนำคำนำหน้าพรอมต์ที่ไม่เปลี่ยนแปลง (คำสั่งระบบ/นักพัฒนา คำจำกัดความของเครื่องมือ และบริบทอื่นที่คงที่) กลับมาใช้ซ้ำระหว่างเทิร์น แทนที่จะประมวลผลใหม่ทุกคำขอ ซึ่งช่วยลดค่าใช้จ่ายโทเค็นและเวลาแฝงในเซสชันที่ทำงานเป็นเวลานานและมีบริบทซ้ำ

OpenClaw ปรับการใช้งานจากผู้ให้บริการให้อยู่ในรูปแบบ cacheRead และ cacheWrite เมื่อ API ต้นทางเปิดเผยตัวนับเหล่านั้น สรุปการใช้งาน (/status และรายการที่คล้ายกัน) จะใช้รายการการใช้งานล่าสุดจากทรานสคริปต์เป็นค่าทดแทนเมื่อสแนปช็อตเซสชันสดไม่มีตัวนับแคช โดยค่าจากเซสชันสดที่ไม่เป็นศูนย์จะมีลำดับความสำคัญเหนือค่าทดแทนเสมอ

เอกสารอ้างอิงของผู้ให้บริการ:

• การแคชพรอมต์ของ Anthropic
• การแคชพรอมต์ของ OpenAI

ตัวควบคุมหลัก

cacheRetention

ค่า: "none" | "short" | "long" กำหนดค่าได้ทั้งเป็นค่าเริ่มต้นส่วนกลาง รายโมเดล และรายเอเจนต์ "standard" ไม่ใช่นามแฝง ให้ใช้ "short" สำหรับช่วงเวลาแคชเริ่มต้นของผู้ให้บริการ ค่าที่ไม่ถูกต้องจะถูกละเว้นพร้อมคำเตือน

agents:  defaults:    params:      cacheRetention: "long" # none | short | long    models:      "anthropic/claude-opus-4-6":        params:          cacheRetention: "short" # แทนที่ค่าเริ่มต้นส่วนกลางสำหรับโมเดลนี้  list:    - id: "alerts"      params:        cacheRetention: "none" # แทนที่ค่าเริ่มต้นทั้งสองสำหรับเอเจนต์นี้

ลำดับการผสาน (รายการภายหลังมีลำดับความสำคัญกว่า):

1. agents.defaults.params - ค่าเริ่มต้นส่วนกลางสำหรับทุกโมเดล
2. agents.defaults.models["provider/model"].params - การแทนที่รายโมเดล
3. agents.list[].params - การแทนที่รายเอเจนต์ โดยจับคู่ด้วยรหัสเอเจนต์

แหล่งที่มา: src/agents/embedded-agent-runner/extra-params.ts (resolveExtraParams)

contextPruning.mode: "cache-ttl"

ตัดบริบทผลลัพธ์ของเครื่องมือเก่าหลังช่วง TTL ของแคชสิ้นสุดลง เพื่อไม่ให้คำขอหลังไม่มีการใช้งานแคชประวัติขนาดใหญ่อีกครั้ง

agents:  defaults:    contextPruning:      mode: "cache-ttl"      ttl: "1h"

ดูพฤติกรรมทั้งหมดได้ที่ การตัดเซสชัน

การรักษาแคชให้อุ่นด้วย Heartbeat

Heartbeat สามารถรักษาช่วงเวลาแคชให้อุ่นและลดการเขียนแคชซ้ำหลังช่วงไม่มีการใช้งาน กำหนดค่าได้ทั้งส่วนกลาง (agents.defaults.heartbeat) หรือรายเอเจนต์ (agents.list[].heartbeat)

agents:  defaults:    heartbeat:      every: "55m"

พฤติกรรมของผู้ให้บริการ

Anthropic (API โดยตรงและ Vertex AI)

• cacheRetention รองรับผู้ให้บริการ anthropic และ anthropic-vertex รวมถึงโมเดล Claude บน amazon-bedrock และปลายทางแบบกำหนดเองที่เข้ากันได้กับ anthropic-messages เมื่อกำหนด cacheRetention อย่างชัดเจน
• เมื่อไม่ได้กำหนดค่า OpenClaw จะตั้งต้น cacheRetention: "short" สำหรับ Anthropic โดยตรง (เฉพาะผู้ให้บริการ anthropic และ anthropic-vertex เท่านั้น เส้นทางอื่นในตระกูล Anthropic ต้องกำหนดค่าอย่างชัดเจน)
• การตอบกลับ Anthropic Messages แบบเนทีฟเปิดเผย cache_read_input_tokens และ cache_creation_input_tokens ซึ่งแมปเป็น cacheRead และ cacheWrite
• cacheRetention: "short" แมปเป็นแคชชั่วคราวเริ่มต้น 5 นาที ส่วน cacheRetention: "long" จะขอ TTL 1 ชั่วโมง (cache_control: { type: "ephemeral", ttl: "1h" }) เมื่อกำหนดไว้อย่างชัดเจน การเก็บรักษาระยะยาวโดยนัย/จากสภาพแวดล้อม (OPENCLAW_CACHE_RETENTION=long โดยไม่มี cacheRetention ที่กำหนดอย่างชัดเจน) จะอัปเกรดเป็น TTL 1 ชั่วโมงเฉพาะบนโฮสต์ api.anthropic.com หรือ Vertex AI (aiplatform.googleapis.com / *-aiplatform.googleapis.com) เท่านั้น ส่วนโฮสต์อื่นจะคงแคช 5 นาทีไว้

แหล่งที่มา: src/agents/anthropic-payload-policy.ts (resolveAnthropicEphemeralCacheControl, isLongTtlEligibleEndpoint)

OpenAI (API โดยตรง)

• การแคชพรอมต์ทำงานโดยอัตโนมัติในโมเดลรุ่นใหม่ที่รองรับ OpenClaw จะไม่แทรกเครื่องหมายแคชระดับบล็อก
• OpenClaw ส่ง prompt_cache_key เพื่อให้การกำหนดเส้นทางแคชคงที่ระหว่างเทิร์น โฮสต์ api.openai.com โดยตรงจะได้รับค่านี้โดยอัตโนมัติ พร็อกซีที่เข้ากันได้กับ OpenAI (oMLX, llama.cpp และปลายทางแบบกำหนดเอง) ต้องมี compat.supportsPromptCacheKey: true ในการกำหนดค่าโมเดลเพื่อเลือกใช้ โดยระบบจะไม่ตรวจพบค่านี้โดยอัตโนมัติสำหรับพร็อกซี
• prompt_cache_retention: "24h" จะถูกเพิ่มเฉพาะเมื่อเลือก cacheRetention: "long" และปลายทางที่แก้ไขแล้วรองรับทั้งคีย์แคชและการเก็บรักษาระยะยาว (compat.supportsLongCacheRetention ซึ่งเป็นจริงโดยค่าเริ่มต้น โดยโปรไฟล์ความเข้ากันได้ของ Together AI และ Cloudflare จะปิดใช้งาน) cacheRetention: "none" จะระงับทั้งสองฟิลด์
• แคชฮิตจะแสดงผ่าน usage.prompt_tokens_details.cached_tokens (Chat Completions) หรือ input_tokens_details.cached_tokens (Responses API) ซึ่งแมปเป็น cacheRead
• เพย์โหลด Responses API ยังสามารถเปิดเผย input_tokens_details.cache_write_tokens ซึ่งแมปเป็น cacheWrite และคิดราคาตามอัตราการเขียนแคชของโมเดล สำหรับเพย์โหลด Responses ที่ไม่มีฟิลด์นี้ ค่า cacheWrite จะคงเป็น 0 API Chat Completions ของ OpenAI ไม่ได้จัดทำเอกสารหรือส่งตัวนับ cache_write_tokens แต่ OpenClaw ยังคงอ่าน prompt_tokens_details.cache_write_tokens ที่ตำแหน่งนั้นสำหรับพร็อกซีที่เข้ากันได้กับ OpenRouter และพร็อกซีสไตล์ DeepSeek ซึ่งรายงานจำนวนการเขียนแยกต่างหาก
• ในทางปฏิบัติ OpenAI ทำงานคล้ายแคชคำนำหน้าเริ่มต้นมากกว่าการนำประวัติทั้งหมดแบบเคลื่อนที่ของ Anthropic มาใช้ซ้ำ โปรดดู ความคาดหวังในการใช้งาน OpenAI แบบสด ด้านล่าง

Amazon Bedrock

• การอ้างอิงโมเดล Anthropic Claude (amazon-bedrock/*anthropic.claude* รวมถึงคำนำหน้าโปรไฟล์การอนุมานระบบของ AWS us./eu./global.anthropic.claude*) รองรับการส่งผ่าน cacheRetention อย่างชัดเจน
• โมเดล Bedrock ที่ไม่ใช่ Anthropic (ตัวอย่างเช่น amazon.nova-*) จะถูกแก้ไขเป็นไม่มีการเก็บรักษาแคชขณะรันไทม์ ไม่ว่าจะกำหนดค่า cacheRetention ไว้เป็นค่าใดก็ตาม
• ARN ของโปรไฟล์การอนุมานแอปพลิเคชัน Bedrock แบบทึบ (รหัสโปรไฟล์ที่ไม่มี claude) จะถูกแก้ไขเป็นไม่มีการเก็บรักษาแคชเช่นกัน เว้นแต่จะกำหนด cacheRetention อย่างชัดเจน เนื่องจากไม่สามารถอนุมานตระกูลโมเดลจาก ARN เพียงอย่างเดียวได้

OpenRouter

สำหรับการอ้างอิงโมเดล openrouter/anthropic/* OpenClaw จะแทรกเครื่องหมาย cache_control ของ Anthropic ลงในบล็อกพรอมต์ระบบ/นักพัฒนา แต่เฉพาะเมื่อคำขอยังคงกำหนดเป้าหมายไปยังเส้นทาง OpenRouter ที่ผ่านการตรวจสอบแล้ว (openrouter บนปลายทางเริ่มต้น หรือผู้ให้บริการ/URL ฐานใด ๆ ที่แก้ไขเป็น openrouter.ai) การชี้โมเดลใหม่ไปยัง URL พร็อกซีที่เข้ากันได้กับ OpenAI ใด ๆ จะหยุดการแทรกนี้

อนุญาต contextPruning.mode: "cache-ttl" สำหรับการอ้างอิงโมเดล openrouter/anthropic/*, openrouter/deepseek/*, openrouter/moonshot/*, openrouter/moonshotai/* และ openrouter/zai/* เนื่องจากเส้นทางเหล่านี้จัดการการแคชพรอมต์ฝั่งผู้ให้บริการโดยไม่ต้องใช้เครื่องหมายที่ OpenClaw แทรก

แหล่งที่มา: extensions/openrouter/index.ts (OPENROUTER_CACHE_TTL_MODEL_PREFIXES)

การสร้างแคช DeepSeek บน OpenRouter เป็นแบบพยายามให้ดีที่สุดและอาจใช้เวลาสองสามวินาที คำขอติดตามผลในทันทีอาจยังแสดง cached_tokens: 0 ให้ตรวจสอบด้วยคำขอที่มีคำนำหน้าเดิมซ้ำหลังหน่วงเวลาสั้น ๆ โดยใช้ usage.prompt_tokens_details.cached_tokens เป็นสัญญาณแคชฮิต

Google Gemini (API โดยตรง)

• การรับส่ง Gemini โดยตรง (api: "google-generative-ai") รายงานแคชฮิตผ่าน cachedContentTokenCount ต้นทาง ซึ่งแมปเป็น cacheRead
• ตระกูลโมเดลที่ใช้ได้: gemini-2.5* และ gemini-3* (ไม่รวมรุ่น Live/พรีวิวที่อยู่นอกการจับคู่คำนำหน้านั้น ตัวอย่างเช่น gemini-live-2.5-flash-preview)
• เมื่อกำหนด cacheRetention บนโมเดลที่ใช้ได้ OpenClaw จะสร้าง นำกลับมาใช้ซ้ำ และรีเฟรชทรัพยากร cachedContents สำหรับพรอมต์ระบบโดยอัตโนมัติ โดยไม่ต้องใช้แฮนเดิลเนื้อหาที่แคชด้วยตนเอง TTL คือ 300s สำหรับ cacheRetention: "short" และ 3600s สำหรับ "long"
• ยังสามารถส่งแฮนเดิลเนื้อหาที่แคชของ Gemini ซึ่งมีอยู่แล้วผ่าน params.cachedContent (หรือ params.cached_content แบบเดิม) ได้ แฮนเดิลที่กำหนดอย่างชัดเจนจะข้ามเส้นทางจัดการแคชอัตโนมัติทั้งหมด
• สิ่งนี้แยกจากการแคชคำนำหน้าพรอมต์ของ Anthropic/OpenAI โดย OpenClaw จะจัดการทรัพยากร cachedContents แบบเนทีฟของผู้ให้บริการสำหรับ Gemini แทนการแทรกเครื่องหมายแคชแบบอินไลน์

แหล่งที่มา: src/agents/embedded-agent-runner/google-prompt-cache.ts

ผู้ให้บริการผ่านชุดทดสอบ CLI (Claude Code, Gemini CLI)

แบ็กเอนด์ CLI ที่ส่งเหตุการณ์การใช้งาน JSONL (jsonlDialect: "claude-stream-json" หรือ "gemini-stream-json") จะผ่านตัวแยกวิเคราะห์การใช้งานที่ใช้ร่วมกัน ซึ่งรู้จักชื่อฟิลด์หลายรูปแบบ รวมถึงตัวนับ cached แบบธรรมดาที่แมปเป็น cacheRead เมื่อเพย์โหลด JSON ของ CLI ไม่มีฟิลด์โทเค็นอินพุตโดยตรง OpenClaw จะคำนวณค่าเป็น input_tokens - cached นี่เป็นเพียงการปรับการใช้งานให้อยู่ในรูปแบบเดียวกัน และไม่ได้สร้างเครื่องหมายแคชพรอมต์แบบ Anthropic/OpenAI สำหรับโมเดลที่ขับเคลื่อนผ่าน CLI เหล่านี้

แหล่งที่มา: src/agents/cli-output.ts (toCliUsage)

ผู้ให้บริการอื่น

หากผู้ให้บริการไม่รองรับโหมดแคชใด ๆ ข้างต้น cacheRetention จะไม่มีผล

ขอบเขตแคชของพรอมต์ระบบ

OpenClaw แบ่งพรอมต์ระบบออกเป็น คำนำหน้าที่คงที่ และ คำต่อท้ายที่เปลี่ยนแปลงได้ ณ ขอบเขตคำนำหน้าแคชภายใน เนื้อหาที่อยู่เหนือขอบเขต (คำจำกัดความของเครื่องมือ เมทาดาทา Skills และไฟล์พื้นที่ทำงาน) จะถูกจัดลำดับให้คงค่าแบบไบต์ต่อไบต์เหมือนเดิมระหว่างเทิร์น เนื้อหาที่อยู่ใต้ขอบเขต (ตัวอย่างเช่น HEARTBEAT.md การประทับเวลารันไทม์ และเมทาดาทารายเทิร์นอื่น ๆ) สามารถเปลี่ยนแปลงได้โดยไม่ทำให้คำนำหน้าที่แคชไว้ใช้ไม่ได้

แนวทางการออกแบบหลัก:

• ไฟล์บริบทโครงการในพื้นที่ทำงานที่คงที่จะถูกจัดไว้ก่อน HEARTBEAT.md เพื่อไม่ให้ความเปลี่ยนแปลงจาก Heartbeat ทำลายคำนำหน้าที่คงที่
• ขอบเขตนี้ใช้กับการจัดรูปแบบการรับส่งของตระกูล Anthropic ตระกูล OpenAI, Google และ CLI เพื่อให้ผู้ให้บริการที่รองรับทั้งหมดได้รับประโยชน์จากความคงที่ของคำนำหน้าเดียวกัน
• คำขอ Codex Responses และ Anthropic Vertex จะถูกกำหนดเส้นทางผ่านการจัดรูปแบบแคชที่รับรู้ขอบเขต เพื่อให้การนำแคชกลับมาใช้ซ้ำสอดคล้องกับสิ่งที่ผู้ให้บริการได้รับจริง
• ลายนิ้วมือพรอมต์ระบบจะถูกปรับให้อยู่ในรูปแบบมาตรฐาน (ช่องว่าง การสิ้นสุดบรรทัด บริบทที่เพิ่มโดยฮุก และลำดับความสามารถของรันไทม์) เพื่อให้พรอมต์ที่ไม่เปลี่ยนแปลงในเชิงความหมายใช้แคชร่วมกันระหว่างเทิร์น

หากพบการเพิ่มขึ้นอย่างไม่คาดคิดของ cacheWrite หลังเปลี่ยนการกำหนดค่าหรือพื้นที่ทำงาน ให้ตรวจสอบว่าการเปลี่ยนแปลงอยู่เหนือหรือใต้ขอบเขตแคช การย้ายเนื้อหาที่เปลี่ยนแปลงได้ลงใต้ขอบเขต (หรือทำให้เนื้อหาคงที่) มักจะแก้ปัญหาได้

กลไกป้องกันความคงที่ของแคชใน OpenClaw

• แค็ตตาล็อกเครื่องมือ MCP ที่รวมมาด้วยจะถูกจัดเรียงแบบกำหนดแน่นอน (ตามชื่อเซิร์ฟเวอร์ แล้วตามชื่อเครื่องมือ) ก่อนลงทะเบียนเครื่องมือ เพื่อให้การเปลี่ยนลำดับ listTools() ไม่ทำให้บล็อกเครื่องมือเปลี่ยนแปลงและทำลายคำนำหน้าแคชพรอมต์
• เซสชันเดิมที่มีบล็อกรูปภาพที่บันทึกไว้จะเก็บ 3 เทิร์นที่เสร็จสมบูรณ์ล่าสุด ไว้ครบถ้วน (นับเทิร์นที่เสร็จสมบูรณ์ทั้งหมด ไม่ใช่เฉพาะเทิร์นที่มีรูปภาพ) บล็อกรูปภาพเก่าที่ประมวลผลแล้วจะถูกแทนที่ด้วยเครื่องหมายข้อความ เพื่อให้การติดตามผลที่มีรูปภาพจำนวนมากไม่ส่งเพย์โหลดเก่าขนาดใหญ่ซ้ำต่อไป

รูปแบบการปรับแต่ง

ปริมาณงานแบบผสม (ค่าเริ่มต้นที่แนะนำ)

คงค่าพื้นฐานระยะยาวไว้ในเอเจนต์หลัก และปิดใช้งานการแคชในเอเจนต์แจ้งเตือนที่ทำงานเป็นช่วงสั้น ๆ:

agents:  defaults:    model:      primary: "anthropic/claude-opus-4-6"    models:      "anthropic/claude-opus-4-6":        params:          cacheRetention: "long"  list:    - id: "research"      default: true      heartbeat:        every: "55m"    - id: "alerts"      params:        cacheRetention: "none"

ค่าพื้นฐานที่เน้นต้นทุนเป็นหลัก

• กำหนดค่าพื้นฐาน cacheRetention: "short"
• เปิดใช้งาน contextPruning.mode: "cache-ttl"
• กำหนด Heartbeat ให้ต่ำกว่า TTL เฉพาะสำหรับเอเจนต์ที่ได้รับประโยชน์จากแคชที่อุ่นอยู่

การทดสอบการถดถอยแบบสด

OpenClaw เรียกใช้เกตการถดถอยของแคชแบบสดที่รวมการทดสอบคำนำหน้าซ้ำ เทิร์นเครื่องมือ เทิร์นรูปภาพ ทรานสคริปต์เครื่องมือสไตล์ MCP และตัวควบคุมแบบไม่ใช้แคชของ Anthropic ไว้ด้วยกัน

• src/agents/live-cache-regression.live.test.ts
• src/agents/live-cache-regression-runner.ts
• src/agents/live-cache-regression-baseline.ts

เรียกใช้ด้วย:

OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_CACHE_TEST=1 pnpm test:live:cache

ไฟล์ค่าฐานจัดเก็บตัวเลขจากระบบจริงที่สังเกตได้ล่าสุด รวมถึงค่าต่ำสุดสำหรับตรวจจับการถดถอยเฉพาะของแต่ละผู้ให้บริการที่การทดสอบใช้ตรวจสอบ การรันแต่ละครั้งใช้ ID เซสชันและเนมสเปซพรอมต์ใหม่เฉพาะรอบ เพื่อไม่ให้สถานะแคชก่อนหน้าปนเปื้อนตัวอย่างปัจจุบัน Anthropic และ OpenAI ใช้การบังคับใช้ต่างกัน: หาก Anthropic ต่ำกว่าค่าต่ำสุด จะถือเป็นการถดถอยที่ทำให้การทดสอบล้มเหลว ขณะที่หาก OpenAI ต่ำกว่าค่าต่ำสุด จะใช้เพื่อติดตามเท่านั้น (บันทึกเป็นคำเตือนและไม่ทำให้การรันล้มเหลว) ทั้งสองไม่ได้ใช้เกณฑ์เดียวร่วมกันระหว่างผู้ให้บริการ

ความคาดหวังสำหรับระบบจริงของ Anthropic

• คาดว่าจะมีการเขียนช่วงอุ่นเครื่องอย่างชัดเจนผ่าน cacheWrite
• คาดว่าจะนำประวัติเกือบทั้งหมดกลับมาใช้ซ้ำในการโต้ตอบรอบถัดไป เนื่องจากการควบคุมแคชของ Anthropic จะเลื่อนจุดแบ่งแคชไปตามบทสนทนา
• ค่าต่ำสุดในค่าฐานสำหรับเลนแบบเสถียร เครื่องมือ รูปภาพ และรูปแบบ MCP เป็นเกณฑ์ตรวจจับการถดถอยที่ทำให้การทดสอบล้มเหลว

ความคาดหวังสำหรับระบบจริงของ OpenAI

• คาดว่าจะมีเฉพาะ cacheRead; cacheWrite จะยังคงเป็น 0 บน Chat Completions
• ให้ถือว่าการนำแคชกลับมาใช้ซ้ำในการโต้ตอบรอบถัดไปเป็นระดับคงที่เฉพาะของผู้ให้บริการ ไม่ใช่การนำประวัติทั้งหมดที่เลื่อนไปตามบทสนทนากลับมาใช้ซ้ำแบบ Anthropic
• ค่าต่ำสุดใช้เพื่อติดตามเท่านั้น (หากต่ำกว่าจะบันทึกเป็นคำเตือน ไม่ใช่ทำให้การทดสอบล้มเหลว) โดยอ้างอิงจากพฤติกรรมของระบบจริงที่สังเกตได้บน gpt-5.4-mini:

ตัวเลขค่าฐานที่สังเกตได้ล่าสุด (จาก live-cache-regression-baseline.ts) อยู่ที่: คำนำหน้าที่เสถียร cacheRead=4864, อัตราการพบแคช 0.966; ทรานสคริปต์เครื่องมือ cacheRead=4608, อัตราการพบแคช 0.896; ทรานสคริปต์รูปภาพ cacheRead=4864, อัตราการพบแคช 0.954; ทรานสคริปต์รูปแบบ MCP cacheRead=4608, อัตราการพบแคช 0.891

เหตุผลที่การตรวจยืนยันต่างกัน: Anthropic เปิดเผยจุดแบ่งแคชอย่างชัดเจนและนำประวัติการสนทนาที่เลื่อนไปตามบทสนทนากลับมาใช้ซ้ำ ขณะที่คำนำหน้าที่นำกลับมาใช้ซ้ำได้อย่างมีประสิทธิผลของ OpenAI ในทราฟฟิกจริงอาจคงที่ก่อนถึงพรอมต์ทั้งหมด การเปรียบเทียบผู้ให้บริการทั้งสองกับเกณฑ์เปอร์เซ็นต์เดียวกันระหว่างผู้ให้บริการทำให้เกิดการแจ้งการถดถอยที่ไม่เป็นจริง

การกำหนดค่า diagnostics.cacheTrace

diagnostics:  cacheTrace:    enabled: true    filePath: "~/.openclaw/logs/cache-trace.jsonl" # ไม่บังคับ    includeMessages: false # ค่าเริ่มต้น true    includePrompt: false # ค่าเริ่มต้น true    includeSystem: false # ค่าเริ่มต้น true

ค่าเริ่มต้น:

ตัวสลับผ่านตัวแปรสภาพแวดล้อม (สำหรับการแก้ไขข้อบกพร่องเฉพาะครั้ง)

สิ่งที่ควรตรวจสอบ

• เหตุการณ์การติดตามแคชอยู่ในรูปแบบ JSONL พร้อมสแนปช็อตตามขั้นตอน เช่น session:loaded, prompt:before, stream:context และ session:after
• ผลกระทบของโทเค็นแคชต่อรอบการโต้ตอบมองเห็นได้ในพื้นผิวการใช้งานปกติ: cacheRead และ cacheWrite จะแสดงใน /usage tokens, /status, สรุปการใช้งานเซสชัน และเลย์เอาต์ messages.usageTemplate แบบกำหนดเอง
• สำหรับ Anthropic เมื่อการแคชทำงานอยู่ คาดว่าจะพบทั้ง cacheRead และ cacheWrite
• สำหรับ OpenAI คาดว่าจะพบ cacheRead เมื่อพบแคช; cacheWrite จะมีข้อมูลเฉพาะในเพย์โหลดของ Responses API ที่มีค่านี้อยู่ (ดู OpenAI ด้านบน)
• OpenAI ยังส่งคืนส่วนหัวสำหรับการติดตามและการจำกัดอัตรา เช่น x-request-id, openai-processing-ms และ x-ratelimit-*; ใช้ค่าเหล่านี้เพื่อติดตามคำขอ แต่การคำนวณการพบแคชควรมาจากเพย์โหลดการใช้งาน ไม่ใช่จากส่วนหัว

การแก้ไขปัญหาอย่างรวดเร็ว

• cacheWrite สูงในการโต้ตอบส่วนใหญ่: ตรวจสอบอินพุตของพรอมต์ระบบที่เปลี่ยนแปลงบ่อย และตรวจสอบว่าโมเดล/ผู้ให้บริการรองรับการตั้งค่าแคช
• cacheWrite สูงบน Anthropic: มักหมายความว่าจุดแบ่งแคชอยู่บนเนื้อหาที่เปลี่ยนแปลงในทุกคำขอ
• cacheRead ของ OpenAI ต่ำ: ตรวจสอบว่าคำนำหน้าที่เสถียรอยู่ด้านหน้า คำนำหน้าที่ใช้ซ้ำมีอย่างน้อย 1024 โทเค็น และนำ prompt_cache_key เดิมกลับมาใช้ซ้ำสำหรับรอบการโต้ตอบที่ควรใช้แคชร่วมกัน
• cacheRetention ไม่มีผล: ยืนยันว่าคีย์โมเดลตรงกับ agents.defaults.models["provider/model"]
• คำขอ Bedrock Nova ที่มีการตั้งค่าแคช: เป็นไปตามที่คาดไว้ เพราะระบบจะแปลงคำขอเหล่านี้เป็นการไม่เก็บรักษาแคชขณะรันไทม์

เอกสารที่เกี่ยวข้อง:

• Anthropic
• การใช้โทเค็นและค่าใช้จ่าย
• การตัดแต่งเซสชัน
• ข้อมูลอ้างอิงการกำหนดค่า Gateway

ที่เกี่ยวข้อง

• การใช้โทเค็นและค่าใช้จ่าย
• การใช้งาน API และค่าใช้จ่าย