ภาพรวมการประกันคุณภาพ

Documentation Index

Fetch the complete documentation index at: https://docs.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

• extensions/qa-channel: channel ข้อความสังเคราะห์ที่มีพื้นผิว DM, channel, thread, reaction, edit และ delete
• extensions/qa-lab: UI ดีบักเกอร์และ QA bus สำหรับสังเกต transcript, inject ข้อความขาเข้า และ export รายงาน Markdown
• extensions/qa-matrix, Plugin runner ในอนาคต: live-transport adapters ที่ ขับ channel จริงภายใน child QA gateway
• qa/: seed assets ที่อิง repo สำหรับ kickoff task และสถานการณ์ QA พื้นฐาน
• Mantis: การตรวจสอบสดก่อนและหลังสำหรับบั๊กที่ต้องใช้ transport จริง, screenshot ของเบราว์เซอร์, สถานะ VM และหลักฐาน PR

​

พื้นผิวคำสั่ง

​

Flow ของ operator

• ซ้าย: Dashboard ของ Gateway (Control UI) พร้อม agent
• ขวา: QA Lab แสดง transcript แบบ Slack-ish และแผนสถานการณ์

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm openclaw qa matrix --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.4

pnpm openclaw qa credentials doctor

​

ความครอบคลุมของ transport แบบสด

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

อ้างอิง QA สำหรับ Telegram, Discord และ Slack

​

flag CLI ที่ใช้ร่วมกัน

​

Telegram QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - id แชตแบบตัวเลข (สตริง)
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1 เก็บเนื้อความข้อความไว้ในอาร์ติแฟกต์ข้อความที่สังเกตได้ (ค่าเริ่มต้นจะปกปิด)

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• telegram-qa-summary.json - รวม RTT ต่อการตอบกลับ (driver ส่ง → สังเกตเห็นการตอบกลับ SUT) เริ่มจาก canary
• telegram-qa-observed-messages.json - เนื้อความถูกปกปิด เว้นแต่ตั้ง OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1

​

Discord QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - ต้องตรงกับรหัสผู้ใช้บอท SUT ที่ Discord ส่งคืนมา (ไม่เช่นนั้นเลนจะล้มเหลวอย่างรวดเร็ว)

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 เก็บเนื้อหาข้อความไว้ในอาร์ติแฟกต์ข้อความที่สังเกตพบ
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID เลือกช่องเสียง/เวทีสำหรับ discord-voice-autojoin; หากไม่มีค่านี้ สถานการณ์จะเลือกช่องเสียง/เวทีแรกที่มองเห็นได้สำหรับบอท SUT

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - สถานการณ์เสียงแบบเลือกใช้ รันโดยลำพัง เปิดใช้ channels.discord.voice.autoJoin และตรวจสอบว่าสถานะเสียง Discord ปัจจุบันของบอท SUT คือช่องเสียง/เวทีเป้าหมาย ข้อมูลรับรอง Convex Discord อาจมี voiceChannelId แบบไม่บังคับ; มิฉะนั้นตัวรันจะค้นหาช่องเสียง/เวทีแรกที่มองเห็นได้ในกิลด์
• discord-status-reactions-tool-only - สถานการณ์ Mantis แบบเลือกใช้ รันโดยลำพังเพราะจะสลับ SUT เป็นการตอบกลับกิลด์แบบเปิดตลอดเวลาและใช้เครื่องมือเท่านั้นด้วย messages.statusReactions.enabled=true จากนั้นจับไทม์ไลน์รีแอ็กชัน REST พร้อมอาร์ติแฟกต์ภาพ HTML/PNG รายงานก่อน/หลังของ Mantis ยังเก็บอาร์ติแฟกต์ MP4 ที่สถานการณ์ให้มาเป็น baseline.mp4 และ candidate.mp4 ด้วย

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast

• discord-qa-report.md
• discord-qa-summary.json
• discord-qa-observed-messages.json - เนื้อหาจะถูกปกปิด เว้นแต่ตั้งค่า OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1
• discord-qa-reaction-timelines.json และ discord-status-reactions-tool-only-timeline.png เมื่อสถานการณ์รีแอ็กชันสถานะรัน

​

QA ของ Slack

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 เก็บเนื้อหาข้อความไว้ในอาร์ติแฟกต์ข้อความที่สังเกตพบ

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation

• slack-qa-report.md
• slack-qa-summary.json
• slack-qa-observed-messages.json - เนื้อหาจะถูกปกปิด เว้นแต่ตั้งค่า OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1

​

การตั้งค่าเวิร์กสเปซ Slack

• channelId - รหัส Cxxxxxxxxxx ของช่องที่เชิญบอททั้งสองเข้าแล้ว ใช้ช่องเฉพาะ; เลนจะโพสต์ทุกครั้งที่รัน
• driverBotToken - โทเค็นบอท (xoxb-...) ของแอป Driver
• sutBotToken - โทเค็นบอท (xoxb-...) ของแอป SUT ซึ่งต้องเป็นแอป Slack แยกต่างหากจากไดรเวอร์ เพื่อให้รหัสผู้ใช้บอทแตกต่างกัน
• sutAppToken - โทเค็นระดับแอป (xapp-...) ของแอป SUT ที่มี connections:write ใช้โดย Socket Mode เพื่อให้แอป SUT รับเหตุการณ์ได้

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → คัดลอก Bot User OAuth Token → ค่านี้จะกลายเป็น sutBotToken
• Basic Information → App-Level Tokens → Generate Token and Scopes → เพิ่มขอบเขต connections:write → บันทึก → คัดลอกค่า xapp-... → ค่านี้จะกลายเป็น sutAppToken

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

พูลข้อมูลรับรอง Convex

• Telegram (kind: "telegram"): { groupId: string, driverToken: string, sutToken: string } - groupId ต้องเป็นสตริงรหัสแชตแบบตัวเลข
• ผู้ใช้จริงของ Telegram (kind: "telegram-user"): { groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - สิทธิ์เช่าบัญชีใช้งานชั่วคราวแบบเอกสิทธิ์หนึ่งรายการที่ใช้ร่วมกันโดยทั้งไดรเวอร์ CLI ของ TDLib และพยานภาพจาก Telegram Desktop
• Discord (kind: "discord"): { guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }
• WhatsApp (kind: "whatsapp"): { driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - หมายเลขโทรศัพท์ต้องเป็นสตริง E.164 ที่แตกต่างกัน

pnpm qa:telegram-user:crabbox -- start --tdlib-url http://artifacts.openclaw.ai/tdlib-v1.8.0-linux-x64.tgz --output-dir .artifacts/qa-e2e/telegram-user-crabbox/pr-review
pnpm qa:telegram-user:crabbox -- send --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json --text /status
pnpm qa:telegram-user:crabbox -- finish --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json

​

seed ที่อิง repo

• qa/scenarios/index.md
• qa/scenarios/<theme>/*.md

• metadata ของ scenario
• metadata ของหมวดหมู่ ความสามารถ เลน และความเสี่ยงที่เป็นทางเลือก
• refs ของเอกสารและโค้ด
• ข้อกำหนด Plugin ที่เป็นทางเลือก
• patch การกำหนดค่า Gateway ที่เป็นทางเลือก
• qa-flow ที่รันได้

• แชต DM และแชตช่อง
• พฤติกรรม thread
• lifecycle ของ action ข้อความ
• callback ของ cron
• การเรียกคืน memory
• การสลับโมเดล
• การส่งต่อให้ subagent
• การอ่าน repo และการอ่านเอกสาร
• งาน build ขนาดเล็กหนึ่งงาน เช่น Lobster Invaders

​

เลน mock ของ provider

• mock-openai คือ mock ของ OpenClaw ที่รู้จัก scenario ยังคงเป็นเลน mock แบบ deterministic เริ่มต้นสำหรับ QA ที่อิง repo และ parity gate
• aimock เริ่มเซิร์ฟเวอร์ provider ที่อิง AIMock สำหรับ protocol เชิงทดลอง, fixture, record/replay และ chaos coverage เป็นส่วนเสริมและไม่ได้ แทนที่ตัวแจกจ่าย scenario mock-openai

​

adapter ของ transport

• qa-lab เป็นเจ้าของการรัน scenario ทั่วไป, concurrency ของ worker, การเขียน artifact และการรายงาน
• adapter ของ transport เป็นเจ้าของ config ของ Gateway, readiness, การสังเกต inbound และ outbound, action ของ transport และสถานะ transport ที่ normalize แล้ว
• ไฟล์ scenario แบบ markdown ใต้ qa/scenarios/ กำหนดการรันทดสอบ; qa-lab จัดเตรียมพื้นผิว runtime ที่ใช้ซ้ำได้ซึ่งรันไฟล์เหล่านั้น

​

การเพิ่มช่องทาง

1. adapter ของ transport สำหรับช่องทางนั้น
2. ชุด scenario ที่ทดสอบสัญญาของช่องทางนั้น

• root คำสั่ง openclaw qa
• การเริ่มและ teardown ของ suite
• concurrency ของ worker
• การเขียน artifact
• การสร้างรายงาน
• การรัน scenario
• alias ความเข้ากันได้สำหรับ scenario qa-channel รุ่นเก่า

• วิธี mount openclaw qa <runner> ใต้ root qa ที่ใช้ร่วมกัน
• วิธีกำหนดค่า Gateway สำหรับ transport นั้น
• วิธีตรวจ readiness
• วิธี inject event inbound
• วิธีสังเกตข้อความ outbound
• วิธีเปิดเผย transcript และสถานะ transport ที่ normalize แล้ว
• วิธีรัน action ที่อิง transport
• วิธีจัดการ reset หรือ cleanup เฉพาะ transport

1. ให้ qa-lab เป็นเจ้าของ root qa ที่ใช้ร่วมกัน
2. implement runner ของ transport บน seam host qa-lab ที่ใช้ร่วมกัน
3. เก็บกลไกเฉพาะ transport ไว้ภายใน Plugin runner หรือ harness ของช่องทาง
4. mount runner เป็น openclaw qa <runner> แทนการลงทะเบียน root command ที่แข่งกัน Plugin runner ควรประกาศ qaRunners ใน openclaw.plugin.json และ export array qaRunnerCliRegistrations ที่ตรงกันจาก runtime-api.ts รักษา runtime-api.ts ให้เบา; CLI แบบ lazy และการรัน runner ควรอยู่หลัง entrypoint แยกกัน
5. เขียนหรือปรับ scenario markdown ใต้ไดเรกทอรี qa/scenarios/ ที่แบ่งตาม theme
6. ใช้ helper scenario ทั่วไปสำหรับ scenario ใหม่
7. รักษา alias ความเข้ากันได้เดิมให้ยังทำงาน เว้นแต่ repo กำลังทำ migration โดยตั้งใจ

• หากพฤติกรรมสามารถแสดงครั้งเดียวใน qa-lab ได้ ให้ใส่ไว้ใน qa-lab
• หากพฤติกรรมขึ้นกับ transport ของช่องทางหนึ่ง ให้เก็บไว้ใน Plugin runner หรือ harness ของ Plugin นั้น
• หาก scenario ต้องการความสามารถใหม่ที่มากกว่าหนึ่งช่องทางใช้ได้ ให้เพิ่ม helper ทั่วไปแทน branch เฉพาะช่องทางใน suite.ts
• หากพฤติกรรมมีความหมายเฉพาะกับ transport หนึ่งเท่านั้น ให้คง scenario เป็นแบบเฉพาะ transport และทำให้ชัดเจนในสัญญา scenario

​

ชื่อ helper ของ scenario

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

การรายงาน

• อะไรทำงานได้
• อะไรล้มเหลว
• อะไรยังถูกบล็อก
• scenario ติดตามผลใดที่ควรเพิ่ม

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-6,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-6,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

เอกสารที่เกี่ยวข้อง

• Matrix QA
• ช่อง QA
• การทดสอบ
• Dashboard