Pengujian
- Kit pengujian lengkap (suite, live, Docker): Testing
-
pnpm test:force: Menghentikan proses gateway yang masih tertinggal dan menahan port kontrol default, lalu menjalankan suite Vitest lengkap dengan port gateway terisolasi agar pengujian server tidak berbenturan dengan instance yang sedang berjalan. Gunakan ini ketika eksekusi gateway sebelumnya membuat port 18789 tetap terpakai. -
pnpm test:coverage: Menjalankan suite unit dengan cakupan V8 (melaluivitest.unit.config.ts). Ambang batas global adalah 70% untuk lines/branches/functions/statements. Cakupan mengecualikan entrypoint yang berat integrasi (wiring CLI, bridge gateway/telegram, server statis webchat) agar target tetap fokus pada logika yang bisa diuji dengan unit test. -
pnpm test:coverage:changed: Menjalankan cakupan unit hanya untuk file yang berubah sejakorigin/main. -
pnpm test:changed: memperluas path git yang berubah menjadi lane Vitest terarah ketika diff hanya menyentuh file source/test yang dapat dirutekan. Perubahan config/setup tetap fallback ke root projects run native sehingga edit wiring tetap dijalankan ulang secara luas bila diperlukan. -
pnpm test: merutekan target file/direktori eksplisit melalui lane Vitest terarah. Eksekusi tanpa target sekarang menjalankan sebelas konfigurasi shard berurutan (vitest.full-core-unit-src.config.ts,vitest.full-core-unit-security.config.ts,vitest.full-core-unit-ui.config.ts,vitest.full-core-unit-support.config.ts,vitest.full-core-support-boundary.config.ts,vitest.full-core-contracts.config.ts,vitest.full-core-bundled.config.ts,vitest.full-core-runtime.config.ts,vitest.full-agentic.config.ts,vitest.full-auto-reply.config.ts,vitest.full-extensions.config.ts) alih-alih satu proses root-project besar. -
File pengujian
plugin-sdkdancommandstertentu sekarang dirutekan melalui lane ringan khusus yang hanya mempertahankantest/setup.ts, sementara kasus yang berat pada runtime tetap berada di lane yang sudah ada. -
File source helper
plugin-sdkdancommandstertentu juga memetakanpnpm test:changedke pengujian sibling eksplisit di lane ringan tersebut, sehingga edit helper kecil tidak perlu menjalankan ulang suite berat yang didukung runtime. -
auto-replysekarang juga dibagi menjadi tiga konfigurasi khusus (core,top-level,reply) sehingga harness reply tidak mendominasi pengujian status/token/helper top-level yang lebih ringan. -
Konfigurasi dasar Vitest sekarang default ke
pool: "threads"danisolate: false, dengan runner bersama non-isolated diaktifkan di seluruh konfigurasi repo. -
pnpm test:channelsmenjalankanvitest.channels.config.ts. -
pnpm test:extensionsmenjalankanvitest.extensions.config.ts. -
pnpm test:extensions: menjalankan suite extension/plugin. -
pnpm test:perf:imports: mengaktifkan pelaporan durasi impor + rincian impor Vitest, sambil tetap menggunakan lane routing terarah untuk target file/direktori eksplisit. -
pnpm test:perf:imports:changed: profiling impor yang sama, tetapi hanya untuk file yang berubah sejakorigin/main. -
pnpm test:perf:changed:bench -- --ref <git-ref>melakukan benchmark pada path changed-mode yang dirutekan terhadap root-project run native untuk diff git committed yang sama. -
pnpm test:perf:changed:bench -- --worktreemelakukan benchmark pada kumpulan perubahan worktree saat ini tanpa commit terlebih dahulu. -
pnpm test:perf:profile:main: menulis profil CPU untuk thread utama Vitest (.artifacts/vitest-main-profile). -
pnpm test:perf:profile:runner: menulis profil CPU + heap untuk unit runner (.artifacts/vitest-runner-profile). -
Integrasi gateway: opt-in melalui
OPENCLAW_TEST_INCLUDE_GATEWAY=1 pnpm testataupnpm test:gateway. -
pnpm test:e2e: Menjalankan pengujian smoke end-to-end gateway (pairing multi-instance WS/HTTP/node). Default kethreads+isolate: falsedengan worker adaptif divitest.e2e.config.ts; sesuaikan denganOPENCLAW_E2E_WORKERS=<n>dan aturOPENCLAW_E2E_VERBOSE=1untuk log verbose. -
pnpm test:live: Menjalankan pengujian live provider (minimax/zai). Memerlukan kunci API danLIVE=1(atau*_LIVE_TEST=1khusus provider) agar tidak di-skip. -
pnpm test:docker:openwebui: Memulai OpenClaw + Open WebUI dalam Docker, sign in melalui Open WebUI, memeriksa/api/models, lalu menjalankan chat proxied nyata melalui/api/chat/completions. Memerlukan kunci model live yang dapat digunakan (misalnya OpenAI di~/.profile), menarik image Open WebUI eksternal, dan tidak diharapkan stabil di CI seperti suite unit/e2e normal. -
pnpm test:docker:mcp-channels: Memulai container Gateway yang sudah di-seed dan container klien kedua yang menjalankanopenclaw mcp serve, lalu memverifikasi discovery percakapan yang dirutekan, pembacaan transkrip, metadata lampiran, perilaku antrean event live, perutean pengiriman keluar, dan notifikasi channel + permission bergaya Claude melalui bridge stdio nyata. Assertion notifikasi Claude membaca frame MCP stdio mentah secara langsung sehingga smoke mencerminkan apa yang benar-benar dipancarkan bridge.
Gate PR lokal
Untuk pemeriksaan land/gate PR secara lokal, jalankan:pnpm checkpnpm buildpnpm testpnpm check:docs
pnpm test flaky di host yang sibuk, jalankan ulang sekali sebelum menganggapnya regresi, lalu isolasi dengan pnpm test <path/to/test>. Untuk host dengan keterbatasan memori, gunakan:
OPENCLAW_VITEST_MAX_WORKERS=1 pnpm testOPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/tmp/openclaw-vitest-cache pnpm test:changed
Benchmark latensi model (kunci lokal)
Skrip:scripts/bench-model.ts
Penggunaan:
source ~/.profile && pnpm tsx scripts/bench-model.ts --runs 10- Env opsional:
MINIMAX_API_KEY,MINIMAX_BASE_URL,MINIMAX_MODEL,ANTHROPIC_API_KEY - Prompt default: “Reply with a single word: ok. No punctuation or extra text.”
- minimax median 1279ms (min 1114, maks 2431)
- opus median 2454ms (min 1224, maks 3170)
Benchmark startup CLI
Skrip:scripts/bench-cli-startup.ts
Penggunaan:
pnpm test:startup:benchpnpm test:startup:bench:smokepnpm test:startup:bench:savepnpm test:startup:bench:updatepnpm test:startup:bench:checkpnpm tsx scripts/bench-cli-startup.tspnpm tsx scripts/bench-cli-startup.ts --runs 12pnpm tsx scripts/bench-cli-startup.ts --preset realpnpm tsx scripts/bench-cli-startup.ts --preset real --case status --case gatewayStatus --runs 3pnpm tsx scripts/bench-cli-startup.ts --entry openclaw.mjs --entry-secondary dist/entry.js --preset allpnpm tsx scripts/bench-cli-startup.ts --preset all --output .artifacts/cli-startup-bench-all.jsonpnpm tsx scripts/bench-cli-startup.ts --preset real --case gatewayStatusJson --output .artifacts/cli-startup-bench-smoke.jsonpnpm tsx scripts/bench-cli-startup.ts --preset real --cpu-prof-dir .artifacts/cli-cpupnpm tsx scripts/bench-cli-startup.ts --json
startup:--version,--help,health,health --json,status --json,statusreal:health,status,status --json,sessions,sessions --json,agents list --json,gateway status,gateway status --json,gateway health --json,config get gateway.portall: kedua preset
sampleCount, avg, p50, p95, min/max, distribusi exit-code/signal, dan ringkasan RSS maksimum untuk setiap perintah. --cpu-prof-dir / --heap-prof-dir opsional menulis profil V8 per eksekusi sehingga penangkapan waktu dan profil menggunakan harness yang sama.
Konvensi output tersimpan:
pnpm test:startup:bench:smokemenulis artefak smoke terarah di.artifacts/cli-startup-bench-smoke.jsonpnpm test:startup:bench:savemenulis artefak suite lengkap di.artifacts/cli-startup-bench-all.jsonmenggunakanruns=5danwarmup=1pnpm test:startup:bench:updatemenyegarkan fixture baseline yang di-check-in ditest/fixtures/cli-startup-bench.jsonmenggunakanruns=5danwarmup=1
test/fixtures/cli-startup-bench.json- Segarkan dengan
pnpm test:startup:bench:update - Bandingkan hasil saat ini dengan fixture menggunakan
pnpm test:startup:bench:check
Onboarding E2E (Docker)
Docker bersifat opsional; ini hanya diperlukan untuk pengujian smoke onboarding dalam container. Alur cold-start penuh dalam container Linux bersih:openclaw health.
Smoke impor QR (Docker)
Memastikanqrcode-terminal dimuat di runtime Node Docker yang didukung (default Node 24, kompatibel dengan Node 22):