ตั๊กแตนตำข้าว

Documentation Index

Fetch the complete documentation index at: https://docs.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

​

เป้าหมาย

• ทำซ้ำบั๊กจาก GitHub issue หรือ PR ด้วยรูปแบบ transport เดียวกับที่ผู้ใช้เห็น
• จับ artifact ก่อน บน baseline ref ก่อนใช้การแก้ไข
• จับ artifact หลัง บน candidate ref หลังใช้การแก้ไข
• ใช้ oracle ที่กำหนดแน่นอนเมื่อเป็นไปได้ เช่น การอ่าน reaction ผ่าน Discord REST หรือการตรวจ transcript ของช่อง
• จับภาพหน้าจอเมื่อบั๊กมีพื้นผิว UI ที่มองเห็นได้
• รันในเครื่องจาก CLI ที่ควบคุมโดย agent และรันระยะไกลจาก GitHub
• เก็บสถานะเครื่องให้เพียงพอสำหรับการกู้ผ่าน VNC เมื่อการเข้าสู่ระบบ, browser automation หรือการยืนยันตัวตนของ provider ติดขัด
• โพสต์สถานะอย่างกระชับไปยังช่อง Discord ของผู้ปฏิบัติงานเมื่อการรันถูกบล็อก, ต้องการความช่วยเหลือผ่าน VNC แบบ manual หรือเสร็จสิ้น

​

สิ่งที่ไม่ใช่เป้าหมาย

• Mantis ไม่ใช่สิ่งทดแทน unit tests โดยปกติการรัน Mantis ควรถูกแปลงเป็น regression test ที่เล็กลงหลังจากเข้าใจการแก้ไขแล้ว
• Mantis ไม่ใช่ gate CI แบบเร็วตามปกติ มันช้ากว่า ใช้ credentials จริง และสงวนไว้สำหรับบั๊กที่สภาพแวดล้อมจริงมีความสำคัญ
• Mantis ไม่ควรต้องใช้มนุษย์ในการทำงานปกติ Manual VNC เป็นเส้นทางกู้คืน ไม่ใช่ happy path
• Mantis ไม่เก็บ secrets ดิบไว้ใน artifacts, logs, screenshots, รายงาน Markdown หรือความคิดเห็น PR

​

ความเป็นเจ้าของ

• OpenClaw เป็นเจ้าของ scenario runtime, transport adapters, evidence schema และ CLI ในเครื่องภายใต้ pnpm openclaw qa mantis
• QA Lab เป็นเจ้าของส่วน live transport harness, helpers สำหรับจับภาพเบราว์เซอร์ และ artifact writers
• Crabbox เป็นเจ้าของเครื่อง Linux ที่อุ่นเครื่องไว้เมื่อจำเป็นต้องใช้ VM ระยะไกล
• GitHub Actions เป็นเจ้าของ remote workflow entrypoint และการเก็บรักษา artifact
• ClawSweeper เป็นเจ้าของการ routing ความคิดเห็น GitHub: การแยกคำสั่ง maintainer, การ dispatch workflow และการโพสต์ความคิดเห็น PR สุดท้าย
• OpenClaw agents ขับเคลื่อน Mantis ผ่าน Codex เมื่อสถานการณ์ต้องการการตั้งค่าแบบ agentic, การดีบัก หรือการรายงานสถานะติดขัด

​

รูปแบบคำสั่ง

pnpm openclaw qa mantis discord-smoke \
  --output-dir .artifacts/qa-e2e/mantis/discord-smoke

pnpm openclaw qa mantis run \
  --transport discord \
  --scenario discord-status-reactions-tool-only \
  --baseline origin/main \
  --candidate HEAD \
  --output-dir .artifacts/qa-e2e/mantis/local-discord-status-reactions

pnpm openclaw qa mantis run \
  --transport discord \
  --scenario discord-thread-reply-filepath-attachment \
  --baseline <bug-ref> \
  --candidate <fix-ref> \
  --output-dir .artifacts/qa-e2e/mantis/local-discord-thread-attachment

pnpm openclaw qa mantis desktop-browser-smoke \
  --output-dir .artifacts/qa-e2e/mantis/desktop-browser

• --lease-id <cbx_...> หรือ OPENCLAW_MANTIS_CRABBOX_LEASE_ID reuse เดสก์ท็อปที่อุ่นเครื่องไว้
• --browser-url <url> เปลี่ยนหน้าที่เปิดในเบราว์เซอร์ที่มองเห็นได้
• --html-file <path> render artifact HTML ภายใน repo ในเบราว์เซอร์ที่มองเห็นได้ Mantis ใช้สิ่งนี้เพื่อจับ timeline ของ Discord status-reaction ที่สร้างขึ้นผ่านเดสก์ท็อป Crabbox จริง
• --browser-profile-dir <remote-path> reuse remote Chrome user-data-dir เพื่อให้เดสก์ท็อป Mantis แบบ persistent สามารถคงสถานะ logged in ระหว่างการรัน ใช้สำหรับ profile viewer Discord Web ที่ใช้งานระยะยาว
• --browser-profile-archive-env <name> restore archive Chrome user-data-dir แบบ base64 .tgz จาก environment variable ที่ระบุชื่อก่อนเปิดเบราว์เซอร์ ใช้สำหรับพยานที่ logged in เช่น Discord Web ค่าเริ่มต้นของ env var คือ OPENCLAW_MANTIS_BROWSER_PROFILE_TGZ_B64
• --video-duration <seconds> ควบคุมความยาวการจับ MP4 ใช้ duration ที่ยาวขึ้นสำหรับ web apps ที่ logged in แล้วแต่ช้าและต้องใช้เวลาให้เสถียร
• --keep-lease หรือ OPENCLAW_MANTIS_KEEP_VM=1 ทำให้ lease ที่สร้างใหม่และผ่านยังคงเปิดไว้สำหรับการตรวจสอบผ่าน VNC การรันที่ล้มเหลวจะเก็บ lease ไว้เป็นค่าเริ่มต้นเมื่อมีการสร้าง lease เพื่อให้ผู้ปฏิบัติงาน reconnect ได้
• --class, --idle-timeout และ --ttl ปรับขนาดเครื่องและอายุ lease

pnpm openclaw qa mantis slack-desktop-smoke \
  --output-dir .artifacts/qa-e2e/mantis/slack-desktop \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN
• OPENCLAW_LIVE_OPENAI_KEY สำหรับ lane model ระยะไกล หากมีเพียง OPENAI_API_KEY ที่ตั้งค่าในเครื่อง Mantis จะ map ไปยัง OPENCLAW_LIVE_OPENAI_KEY ก่อนเรียก Crabbox เพื่อให้การส่งต่อ env OPENCLAW_* ของ Crabbox สามารถพาเข้าไปใน VM ได้

• --lease-id <cbx_...> รันซ้ำกับเครื่องที่ผู้ปฏิบัติงานได้เข้าสู่ระบบ Slack Web ผ่าน VNC ไว้แล้ว
• --gateway-setup เริ่ม Gateway Slack ของ OpenClaw แบบ persistent ใน VM แทนที่จะรันเฉพาะ lane QA แบบ bot-to-bot
• --keep-lease ทำให้ gateway VM ยังคงเปิดไว้สำหรับการตรวจสอบผ่าน VNC หลังสำเร็จ; --no-keep-lease หยุด VM หลังรวบรวม artifacts
• --slack-url <url> เปิด URL ของ Slack Web ที่เฉพาะเจาะจง หากไม่มี Mantis จะ derive https://app.slack.com/client/<team>/<channel> จาก Slack auth.test เมื่อมี SUT bot token
• --slack-channel-id <id> ควบคุม allowlist ช่อง Slack ที่ใช้โดย gateway setup
• OPENCLAW_MANTIS_SLACK_BROWSER_PROFILE_DIR ควบคุม Chrome profile แบบ persistent ภายใน VM ค่าเริ่มต้นคือ $HOME/.config/openclaw-mantis/slack-chrome-profile ดังนั้นการเข้าสู่ระบบ Slack Web แบบ manual จะอยู่รอดจากการรันซ้ำบน lease เดียวกัน
• --credential-source convex --credential-role ci ใช้ shared credential pool แทน Slack env tokens โดยตรง
• --provider-mode, --model, --alt-model และ --fast pass through ไปยัง lane live ของ Slack

• baseline_ref: ref ที่คาดว่าจะทำซ้ำพฤติกรรม queued-only
• candidate_ref: ref ที่คาดว่าจะแสดง queued -> thinking -> done

pnpm openclaw qa mantis telegram-desktop-builder \
  --credential-source convex \
  --credential-role maintainer \
  --keep-lease

• --lease-id <cbx_...> รันซ้ำกับ VM ที่ operator ล็อกอิน Telegram Desktop ไว้แล้ว
• --telegram-profile-archive-env <name> อ่าน archive โปรไฟล์ Telegram Desktop แบบ .tgz ที่เข้ารหัส base64 จาก env var นั้นและ restore ก่อนเปิดใช้งาน
• --telegram-profile-dir <remote-path> ควบคุมไดเรกทอรีโปรไฟล์ Telegram Desktop บนเครื่อง remote ค่าเริ่มต้นคือ $HOME/.local/share/TelegramDesktop
• --no-gateway-setup ติดตั้งและเปิด Telegram Desktop โดยไม่กำหนดค่า OpenClaw
• --credential-source convex --credential-role ci ใช้ credential broker ที่ใช้ร่วมกันแทน token env ของ Telegram โดยตรง

{
  "schemaVersion": 1,
  "id": "discord-status-reactions",
  "title": "Mantis Discord Status Reactions QA",
  "summary": "Human-readable top summary for the PR comment.",
  "scenario": "discord-status-reactions-tool-only",
  "comparison": {
    "baseline": { "sha": "...", "status": "fail", "expected": "queued-only" },
    "candidate": { "sha": "...", "status": "pass", "expected": "queued -> thinking -> done" },
    "pass": true
  },
  "artifacts": [
    {
      "kind": "timeline",
      "lane": "baseline",
      "label": "Baseline queued-only",
      "path": "baseline/timeline.png",
      "targetPath": "baseline.png",
      "alt": "Baseline Discord timeline",
      "width": 420
    }
  ]
}

• timeline: screenshot ของ scenario แบบ deterministic โดยปกติเป็นก่อน/หลัง
• desktopScreenshot: screenshot เดสก์ท็อป VNC/เบราว์เซอร์
• motionPreview: GIF แบบ animated สำหรับ inline ที่สร้างจากการบันทึกเดสก์ท็อป
• motionClip: MP4 ที่ตัดเฉพาะช่วงมีการเคลื่อนไหว โดยลบช่วงนิ่งตอนต้นและท้าย
• fullVideo: การบันทึก MP4 แบบเต็มสำหรับการตรวจสอบเชิงลึก
• metadata: sidecar JSON/log
• report: รายงาน Markdown

@Mantis discord status reactions

@Mantis discord status reactions baseline=origin/main candidate=HEAD

@Mantis telegram
@Mantis telegram scenario=telegram-status-command
@Mantis telegram scenarios=telegram-status-command,telegram-mentioned-message-reply

@clawsweeper mantis discord discord-status-reactions-tool-only
@clawsweeper verify e2e discord

​

วงจรชีวิตการรัน

1. รับ credential
2. จัดสรรหรือนำ VM กลับมาใช้ซ้ำ
3. เตรียมโปรไฟล์เดสก์ท็อป/เบราว์เซอร์เมื่อ scenario ต้องใช้หลักฐาน UI
4. เตรียม checkout ที่สะอาดสำหรับ ref baseline
5. ติดตั้ง dependency และ build เฉพาะสิ่งที่ scenario ต้องใช้
6. เริ่ม OpenClaw Gateway child พร้อมไดเรกทอรีสถานะแบบแยก
7. กำหนดค่า transport แบบสด, provider, model และโปรไฟล์เบราว์เซอร์
8. รัน scenario และจับหลักฐาน baseline
9. หยุด Gateway และเก็บ log ไว้
10. เตรียม ref แคนดิเดตใน VM เดียวกัน
11. รัน scenario เดียวกันและจับหลักฐานแคนดิเดต
12. เปรียบเทียบผล oracle และหลักฐานภาพ
13. เขียน Markdown, JSON, log, screenshot และ artifact trace แบบ optional
14. อัปโหลด artifact ของ GitHub Actions
15. โพสต์ข้อความสถานะ PR หรือ Discord แบบกระชับ

• จำลอง bug ได้สำเร็จ: baseline ล้มเหลวตามรูปแบบที่คาดไว้
• harness ล้มเหลว: การตั้งค่าสภาพแวดล้อม, credential, Discord API, เบราว์เซอร์ หรือ provider ล้มเหลวก่อนที่ bug oracle จะมีความหมาย

​

MVP ของ Discord

• มองเห็นได้ใน Discord เป็น reaction บนข้อความที่ trigger
• มี REST oracle ที่แข็งแรงผ่านสถานะ reaction ของข้อความ Discord
• ทดสอบ OpenClaw Gateway จริง, auth ของ Discord bot, การ dispatch ข้อความ, โหมดการส่ง source reply, สถานะ reaction และวงจรชีวิตของ turn ของ model
• มีขอบเขตแคบพอที่จะทำให้ implementation แรกตรงไปตรงมา

id: discord-status-reactions-tool-only
transport: discord
baseline:
  expect:
    reproduced: true
candidate:
  expect:
    fixed: true
config:
  messages:
    ackReaction: "👀"
    ackReactionScope: "group-mentions"
    groupChat:
      visibleReplies: "message_tool"
    statusReactions:
      enabled: true
      timing:
        debounceMs: 0
discord:
  requireMention: true
  notifyChannel: operator-notify
evidence:
  rest:
    messageReactions: true
  browser:
    screenshotMessageRow: true

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast \
  --output-dir .artifacts/qa-e2e/mantis/discord-status-reactions-candidate

​

ส่วน QA ที่มีอยู่

• pnpm openclaw qa discord รัน lane Discord แบบสดพร้อม bot driver และ SUT อยู่แล้ว
• live transport runner เขียนรายงานและ artifact ข้อความที่สังเกตได้ ใต้ .artifacts/qa-e2e/ อยู่แล้ว
• lease credential ของ Convex ให้สิทธิ์เข้าถึงแบบ exclusive ไปยัง credential transport สดที่ใช้ร่วมกันอยู่แล้ว
• service ควบคุมเบราว์เซอร์รองรับ screenshot, snapshot, managed profile แบบ headless และ remote CDP profile อยู่แล้ว
• QA Lab มี UI debugger และ bus สำหรับการทดสอบตามรูปทรง transport อยู่แล้ว

​

โมเดลหลักฐาน

.artifacts/qa-e2e/mantis/<run-id>/
  mantis-report.md
  mantis-summary.json
  baseline/
    summary.json
    discord-message.json
    screenshot-message-row.png
    gateway-debug/
  candidate/
    summary.json
    discord-message.json
    screenshot-message-row.png
    gateway-debug/
  comparison.json
  run.log

• ref และ SHA ที่ทดสอบ
• transport และ scenario id
• provider เครื่องและ machine id หรือ lease id
• แหล่งที่มาของ credential โดยไม่มีค่าลับ
• ผล baseline
• ผลแคนดิเดต
• bug จำลองได้บน baseline หรือไม่
• แคนดิเดตแก้ไขได้หรือไม่
• path ของ artifact
• ปัญหาการตั้งค่าหรือ cleanup ที่ sanitize แล้ว

​

เบราว์เซอร์และ VNC

• การทำงานอัตโนมัติแบบ Headless: ค่าเริ่มต้นสำหรับ CI Chrome ทำงานโดยเปิด CDP และ Playwright หรือการควบคุมเบราว์เซอร์ของ OpenClaw จะจับภาพหน้าจอ
• การกู้สถานการณ์ด้วย VNC: เปิดใช้งานบน VM เดียวกันเมื่อการเข้าสู่ระบบ, MFA, การป้องกันระบบอัตโนมัติของ Discord, หรือการดีบักด้วยภาพต้องใช้มนุษย์

• id การรัน
• id สถานการณ์
• ผู้ให้บริการเครื่อง
• ไดเรกทอรีอาร์ติแฟกต์
• คำแนะนำการเชื่อมต่อ VNC หรือ noVNC หากมี
• ข้อความสั้นๆ ระบุสิ่งที่บล็อกอยู่

​

เครื่อง

• Linux พร้อมการติดตั้ง Chrome หรือ Chromium ที่รองรับเดสก์ท็อป
• การเข้าถึง CDP สำหรับการทำงานอัตโนมัติของเบราว์เซอร์
• VNC หรือ noVNC สำหรับการกู้สถานการณ์
• Node 22 และ pnpm
• เช็กเอาต์ OpenClaw และแคช dependency
• แคชเบราว์เซอร์ Playwright Chromium เมื่อใช้ Playwright
• CPU และหน่วยความจำเพียงพอสำหรับ OpenClaw Gateway หนึ่งตัว เบราว์เซอร์หนึ่งตัว และการรันโมเดลหนึ่งครั้ง
• การเข้าถึงขาออกไปยัง Discord, GitHub, ผู้ให้บริการโมเดล และโบรกเกอร์ข้อมูลรับรอง

​

ความลับ

• OPENCLAW_QA_DISCORD_MANTIS_BOT_TOKEN
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_NOTIFY_CHANNEL_ID
• OPENCLAW_QA_REDACT_PUBLIC_METADATA=1 สำหรับการอัปโหลดอาร์ติแฟกต์ GitHub สาธารณะ
• OPENCLAW_QA_CONVEX_SITE_URL
• OPENCLAW_QA_CONVEX_SECRET_CI
• OPENCLAW_QA_MANTIS_CRABBOX_COORDINATOR
• OPENCLAW_QA_MANTIS_CRABBOX_COORDINATOR_TOKEN

• โทเค็นบอต Discord
• คีย์ API ของผู้ให้บริการ
• คุกกี้เบราว์เซอร์
• เนื้อหาโปรไฟล์การยืนยันตัวตน
• รหัสผ่าน VNC
• payload ข้อมูลรับรองดิบ

​

อาร์ติแฟกต์ GitHub และความคิดเห็น PR

Mantis Discord Status Reactions QA

Summary: Mantis reran the reported Discord status-reaction bug against the known
bad baseline and the candidate fix. The baseline reproduced the bug, while the
candidate showed the expected queued -> thinking -> done sequence.

- Scenario: `discord-status-reactions-tool-only`
- Run: <workflow run link>
- Artifact: <artifact link>
- Baseline: `<status>` at `<sha>`
- Candidate: `<status>` at `<sha>`

| Baseline            | Candidate           |
| ------------------- | ------------------- |
| <inline screenshot> | <inline screenshot> |

​

หมายเหตุการปรับใช้แบบส่วนตัว

​

การเพิ่มสถานการณ์

• id และชื่อเรื่อง
• การขนส่ง
• ข้อมูลรับรองที่ต้องใช้
• นโยบาย ref ของ baseline
• นโยบาย ref ของ candidate
• แพตช์การกำหนดค่า OpenClaw
• ขั้นตอนการตั้งค่า
• สิ่งกระตุ้น
• oracle ของ baseline ที่คาดหวัง
• oracle ของ candidate ที่คาดหวัง
• เป้าหมายการจับภาพ
• งบประมาณ timeout
• ขั้นตอนการล้างข้อมูล

• สถานะ reaction ของ Discord สำหรับบั๊ก reaction
• การอ้างอิงข้อความ Discord สำหรับบั๊ก threading
• ts ของเธรด Slack และสถานะ API reaction สำหรับบั๊ก Slack
• id ข้อความอีเมลและ headers สำหรับบั๊กอีเมล
• ภาพหน้าจอเบราว์เซอร์เมื่อ UI เป็นสิ่งสังเกตได้ที่เชื่อถือได้เพียงอย่างเดียว

​

การขยายผู้ให้บริการ

• Slack: reactions, threads, app mentions, modals, file uploads.
• อีเมล: การยืนยันตัวตน Gmail และ threading ของข้อความโดยใช้ gog เมื่อ connector ไม่ เพียงพอ
• WhatsApp: การเข้าสู่ระบบด้วย QR, การระบุตัวตนซ้ำ, การส่งข้อความ, สื่อ, reactions
• Telegram: การควบคุมการ mention กลุ่ม, คำสั่ง, reactions เมื่อพร้อมใช้งาน
• Matrix: ห้องเข้ารหัส, ความสัมพันธ์ของ thread หรือ reply, การกลับมาทำงานต่อหลัง restart

​

คำถามที่ยังเปิดอยู่

• บอต Discord ใดควรเป็น driver และบอตใดควรเป็น SUT เมื่อใช้บอต Mantis ที่มีอยู่ซ้ำ?
• การเข้าสู่ระบบเบราว์เซอร์ของผู้สังเกตการณ์ควรใช้บัญชี Discord ของมนุษย์ บัญชีทดสอบ หรือเฉพาะหลักฐาน REST ที่บอตอ่านได้สำหรับเฟสแรก?
• GitHub ควรเก็บอาร์ติแฟกต์ Mantis สำหรับ PR นานเท่าใด?
• เมื่อใดที่ ClawSweeper ควรแนะนำ Mantis โดยอัตโนมัติแทนการรอ คำสั่งจากผู้ดูแล?
• ภาพหน้าจอควรถูกปกปิดหรือตัดก่อนอัปโหลดสำหรับ PR สาธารณะหรือไม่?