有关快速开始、QA 运行器、单元 / 集成测试和 Docker 流程,请参见
测试。本页介绍实时(涉及网络)的测试
套件:模型矩阵、CLI 后端、ACP 和媒体提供商实时测试,以及
凭证处理。
实时:本地 profile 冒烟命令
在临时实时检查前先 source ~/.profile,这样 provider 密钥和本地工具
路径会与你的 shell 保持一致:
安全的媒体冒烟测试:
pnpm openclaw infer tts convert --local --json \
--text "OpenClaw live smoke." \
--output /tmp/openclaw-live-smoke.mp3
安全的语音通话就绪性冒烟测试:
pnpm openclaw voicecall setup --json
pnpm openclaw voicecall smoke --to "+15555550123"
除非同时带上 --yes,否则 voicecall smoke 是一次 dry run。只有在你确实
打算发起真实通知电话时才使用 --yes。对于 Twilio、Telnyx 和
Plivo,成功的就绪性检查需要一个公开的 webhook URL;仅本地
loopback / 私有回退会按设计被拒绝。
实时:Android 节点能力全量扫描
- 测试:
src/gateway/android-node.capabilities.live.test.ts
- 脚本:
pnpm android:test:integration
- 目标:调用已连接 Android 节点当前声明的每一个命令,并断言命令契约行为。
- 范围:
- 预先满足条件 / 手动设置(该套件不会安装 / 运行 / 配对应用)。
- 针对所选 Android 节点逐命令验证 Gateway 网关
node.invoke。
- 所需预设置:
- Android 应用已连接并与 Gateway 网关配对。
- 应用保持在前台。
- 已授予你期望通过的能力所需的权限 / 捕获同意。
- 可选目标覆盖:
OPENCLAW_ANDROID_NODE_ID 或 OPENCLAW_ANDROID_NODE_NAME。
OPENCLAW_ANDROID_GATEWAY_URL / OPENCLAW_ANDROID_GATEWAY_TOKEN / OPENCLAW_ANDROID_GATEWAY_PASSWORD。
- 完整 Android 设置详情:Android App
实时:模型冒烟测试(profile 密钥)
实时测试分为两层,这样我们可以隔离故障:
- “直接模型” 告诉我们 provider / 模型在给定密钥下是否至少能响应。
- “Gateway 网关冒烟测试” 告诉我们该模型的完整 Gateway 网关 + 智能体流水线是否正常工作(会话、历史、工具、沙箱策略等)。
第 1 层:直接模型补全(无 Gateway 网关)
- 测试:
src/agents/models.profiles.live.test.ts
- 目标:
- 枚举已发现的模型
- 使用
getApiKeyForModel 选择你已有凭证的模型
- 对每个模型运行一次小型补全(必要时包含有针对性的回归测试)
- 启用方式:
pnpm test:live(或如果直接调用 Vitest,则使用 OPENCLAW_LIVE_TEST=1)
- 设置
OPENCLAW_LIVE_MODELS=modern(或 all,即 modern 的别名)才会真正运行此套件;否则它会跳过,以便让 pnpm test:live 专注于 Gateway 网关冒烟测试
- 选择模型的方式:
OPENCLAW_LIVE_MODELS=modern 运行 modern 允许列表(Opus / Sonnet 4.6+、GPT-5.2 + Codex、Gemini 3、DeepSeek V4、GLM 4.7、MiniMax M2.7、Grok 4)
OPENCLAW_LIVE_MODELS=all 是 modern 允许列表的别名
- 或
OPENCLAW_LIVE_MODELS="openai/gpt-5.2,openai-codex/gpt-5.2,anthropic/claude-opus-4-6,..."(逗号分隔的允许列表)
- modern / all 扫描默认使用一个精心挑选的高信号上限;设置
OPENCLAW_LIVE_MAX_MODELS=0 可进行完整 modern 扫描,或设为正数以使用更小上限。
- 完整扫描对整个直接模型测试超时使用
OPENCLAW_LIVE_TEST_TIMEOUT_MS。默认值:60 分钟。
- 直接模型探测默认以 20 路并行运行;可设置
OPENCLAW_LIVE_MODEL_CONCURRENCY 进行覆盖。
- 选择 provider 的方式:
OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"(逗号分隔的允许列表)
- 密钥来源:
- 默认:profile 存储和环境变量回退
- 设置
OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1 可强制仅使用 profile 存储
- 存在原因:
- 将 “provider API 坏了 / 密钥无效” 与 “Gateway 网关智能体流水线坏了” 分离
- 容纳小型、隔离的回归测试(例如:OpenAI Responses / Codex Responses 推理重放 + 工具调用流程)
第 2 层:Gateway 网关 + dev 智能体冒烟测试(也就是 “@openclaw” 实际在做什么)
- 测试:
src/gateway/gateway-models.profiles.live.test.ts
- 目标:
- 启动一个进程内 Gateway 网关
- 创建 / 修补一个
agent:dev:* 会话(每次运行按模型覆盖)
- 遍历有密钥的模型并断言:
- “有意义的” 响应(无工具)
- 一个真实工具调用可正常工作(read 探测)
- 可选的额外工具探测(exec+read 探测)
- OpenAI 回归路径(仅工具调用 → 后续跟进)持续可用
- 探测细节(方便你快速解释故障):
read 探测:测试会在工作区写入一个 nonce 文件,并要求智能体 read 它并回显该 nonce。
exec+read 探测:测试会要求智能体通过 exec 将一个 nonce 写入临时文件,然后再 read 回来。
- 图像探测:测试会附加一个生成的 PNG(猫 + 随机代码),并期望模型返回
cat <CODE>。
- 实现参考:
src/gateway/gateway-models.profiles.live.test.ts 和 src/gateway/live-image-probe.ts。
- 启用方式:
pnpm test:live(或如果直接调用 Vitest,则使用 OPENCLAW_LIVE_TEST=1)
- 选择模型的方式:
- 默认:modern 允许列表(Opus / Sonnet 4.6+、GPT-5.2 + Codex、Gemini 3、DeepSeek V4、GLM 4.7、MiniMax M2.7、Grok 4)
OPENCLAW_LIVE_GATEWAY_MODELS=all 是 modern 允许列表的别名
- 或设置
OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"(或逗号列表)以缩小范围
- modern / all Gateway 网关扫描默认使用一个精心挑选的高信号上限;设置
OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0 可进行完整 modern 扫描,或设为正数以使用更小上限。
- 选择 provider 的方式(避免 “OpenRouter 全家桶”):
OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"(逗号分隔的允许列表)
- 工具 + 图像探测在此实时测试中始终启用:
read 探测 + exec+read 探测(工具压力测试)
- 当模型声明支持图像输入时,图像探测会运行
- 流程(高级概览):
- 测试生成一个带有 “CAT” + 随机代码的小型 PNG(
src/gateway/live-image-probe.ts)
- 通过
agent attachments: [{ mimeType: "image/png", content: "<base64>" }] 发送
- Gateway 网关将附件解析为
images[](src/gateway/server-methods/agent.ts + src/gateway/chat-attachments.ts)
- 嵌入式智能体向模型转发一条多模态用户消息
- 断言:回复包含
cat + 该代码(OCR 容错:允许轻微错误)
要查看你的机器上可以测试什么(以及精确的 provider/model ID),请运行:openclaw models list
openclaw models list --json
实时:CLI 后端冒烟测试(Claude、Codex、Gemini 或其他本地 CLI)
- 测试:
src/gateway/gateway-cli-backend.live.test.ts
- 目标:在不触碰你的默认配置的情况下,使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线。
- 各后端特定的冒烟测试默认值位于所属扩展的
cli-backend.ts 定义中。
- 启用:
pnpm test:live(或如果直接调用 Vitest,则使用 OPENCLAW_LIVE_TEST=1)
OPENCLAW_LIVE_CLI_BACKEND=1
- 默认值:
- 默认 provider / 模型:
claude-cli/claude-sonnet-4-6
- 命令 / 参数 / 图像行为来自所属 CLI 后端插件元数据。
- 覆盖项(可选):
OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.2"
OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"
OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'
OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1 发送真实图像附件(路径会注入到提示中)。Docker 配方默认关闭,除非显式请求。
OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image" 将图像文件路径作为 CLI 参数传入,而不是通过提示注入。
OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"(或 "list")用于控制在设置 IMAGE_ARG 时如何传递图像参数。
OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1 发送第二轮消息并验证恢复流程。
OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=1 在所选模型支持切换目标时,选择加入 Claude Sonnet -> Opus 的同会话连续性探测。为了整体可靠性,Docker 配方默认关闭该项。
OPENCLAW_LIVE_CLI_BACKEND_MCP_PROBE=1 选择加入 MCP / 工具 loopback 探测。Docker 配方默认关闭,除非显式请求。
示例:
OPENCLAW_LIVE_CLI_BACKEND=1 \
OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.2" \
pnpm test:live src/gateway/gateway-cli-backend.live.test.ts
低成本 Gemini MCP 配置冒烟测试:
OPENCLAW_LIVE_TEST=1 \
pnpm test:live src/agents/cli-runner/bundle-mcp.gemini.live.test.ts
这不会要求 Gemini 生成响应。它会写入与 OpenClaw 提供给 Gemini 相同的系统
设置,然后运行 gemini --debug mcp list 来证明一个已保存的
transport: "streamable-http" 服务器会被规范化为 Gemini 的 HTTP MCP 形态,
并且能够连接到本地 streamable-HTTP MCP 服务器。
Docker 配方:
pnpm test:docker:live-cli-backend
单 provider Docker 配方:
pnpm test:docker:live-cli-backend:claude
pnpm test:docker:live-cli-backend:claude-subscription
pnpm test:docker:live-cli-backend:codex
pnpm test:docker:live-cli-backend:gemini
说明:
- Docker 运行器位于
scripts/test-live-cli-backend-docker.sh。
- 它会在仓库 Docker 镜像中以非 root 的
node 用户身份运行实时 CLI 后端冒烟测试。
- 它会从所属扩展解析 CLI 冒烟测试元数据,然后将匹配的 Linux CLI 包(
@anthropic-ai/claude-code、@openai/codex 或 @google/gemini-cli)安装到缓存的可写前缀 OPENCLAW_DOCKER_CLI_TOOLS_DIR 中(默认:~/.cache/openclaw/docker-cli-tools)。
pnpm test:docker:live-cli-backend:claude-subscription 需要便携式 Claude Code 订阅 OAuth,可通过 ~/.claude/.credentials.json 中的 claudeAiOauth.subscriptionType 或来自 claude setup-token 的 CLAUDE_CODE_OAUTH_TOKEN 提供。它会先在 Docker 中验证直接 claude -p,然后在不保留 Anthropic API key 环境变量的情况下运行两轮 Gateway 网关 CLI 后端测试。此订阅通道默认禁用 Claude MCP / 工具和图像探测,因为 Claude 当前会通过额外使用计费来处理第三方应用使用,而不是正常的订阅套餐限制。
- 现在的实时 CLI 后端冒烟测试会对 Claude、Codex 和 Gemini 运行相同的端到端流程:文本轮次、图像分类轮次,然后是通过 Gateway 网关 CLI 验证的 MCP
cron 工具调用。
- Claude 的默认冒烟测试还会将会话从 Sonnet 修补为 Opus,并验证恢复后的会话仍记得较早前的一条备注。
实时:ACP 绑定冒烟测试(/acp spawn ... --bind here)
- 测试:
src/gateway/gateway-acp-bind.live.test.ts
- 目标:使用一个实时 ACP 智能体验证真实的 ACP 会话绑定流程:
- 发送
/acp spawn <agent> --bind here
- 原地绑定一个合成的消息渠道会话
- 在同一个会话上发送一条普通后续消息
- 验证该后续消息落入已绑定的 ACP 会话转录中
- 启用:
pnpm test:live src/gateway/gateway-acp-bind.live.test.ts
OPENCLAW_LIVE_ACP_BIND=1
- 默认值:
- Docker 中的 ACP 智能体:
claude,codex,gemini
- 直接
pnpm test:live ... 使用的 ACP 智能体:claude
- 合成渠道:Slack 私信风格的会话上下文
- ACP 后端:
acpx
- 覆盖项:
OPENCLAW_LIVE_ACP_BIND_AGENT=claude
OPENCLAW_LIVE_ACP_BIND_AGENT=codex
OPENCLAW_LIVE_ACP_BIND_AGENT=droid
OPENCLAW_LIVE_ACP_BIND_AGENT=gemini
OPENCLAW_LIVE_ACP_BIND_AGENT=opencode
OPENCLAW_LIVE_ACP_BIND_AGENTS=claude,codex,gemini
OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@<version>'
OPENCLAW_LIVE_ACP_BIND_CODEX_MODEL=gpt-5.2
OPENCLAW_LIVE_ACP_BIND_OPENCODE_MODEL=opencode/kimi-k2.6
OPENCLAW_LIVE_ACP_BIND_REQUIRE_TRANSCRIPT=1
OPENCLAW_LIVE_ACP_BIND_REQUIRE_CRON=1
OPENCLAW_LIVE_ACP_BIND_PARENT_MODEL=openai/gpt-5.2
- 说明:
- 这个通道使用 Gateway 网关
chat.send 界面,并带有仅管理员可用的合成来源路由字段,因此测试可以附加消息渠道上下文,而无需假装真的向外部发送。
- 当
OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND 未设置时,测试会为所选 ACP harness 智能体使用内嵌 acpx 插件的内置智能体注册表。
- 默认情况下,绑定会话的 cron MCP 创建是尽力而为,因为外部 ACP harness 可能会在绑定 / 图像验证通过后取消 MCP 调用;设置
OPENCLAW_LIVE_ACP_BIND_REQUIRE_CRON=1 可让该绑定后 cron 探测变为严格检查。
示例:
OPENCLAW_LIVE_ACP_BIND=1 \
OPENCLAW_LIVE_ACP_BIND_AGENT=claude \
pnpm test:live src/gateway/gateway-acp-bind.live.test.ts
Docker 配方:
pnpm test:docker:live-acp-bind
单智能体 Docker 配方:
pnpm test:docker:live-acp-bind:claude
pnpm test:docker:live-acp-bind:codex
pnpm test:docker:live-acp-bind:droid
pnpm test:docker:live-acp-bind:gemini
pnpm test:docker:live-acp-bind:opencode
Docker 说明:
- Docker 运行器位于
scripts/test-live-acp-bind-docker.sh。
- 默认情况下,它会依次对聚合的实时 CLI 智能体运行 ACP 绑定冒烟测试:
claude、codex,然后 gemini。
- 使用
OPENCLAW_LIVE_ACP_BIND_AGENTS=claude、OPENCLAW_LIVE_ACP_BIND_AGENTS=codex、OPENCLAW_LIVE_ACP_BIND_AGENTS=droid、OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini 或 OPENCLAW_LIVE_ACP_BIND_AGENTS=opencode 可缩小矩阵范围。
- 它会
source ~/.profile,将匹配的 CLI 认证材料准备到容器中,然后在缺失时安装所请求的实时 CLI(@anthropic-ai/claude-code、@openai/codex、通过 https://app.factory.ai/cli 提供的 Factory Droid、@google/gemini-cli 或 opencode-ai)。ACP 后端本身是来自 acpx 插件的内置嵌入式 acpx/runtime 包。
- Droid Docker 变体会准备
~/.factory 以提供设置,转发 FACTORY_API_KEY,并要求提供该 API key,因为本地 Factory OAuth / keyring 认证无法便携地带入容器。它使用 ACPX 内置的 droid exec --output-format acp 注册表条目。
- OpenCode Docker 变体是一个严格的单智能体回归通道。在
source ~/.profile 后,它会根据 OPENCLAW_LIVE_ACP_BIND_OPENCODE_MODEL(默认 opencode/kimi-k2.6)写入一个临时的 OPENCODE_CONFIG_CONTENT 默认模型,而 pnpm test:docker:live-acp-bind:opencode 要求必须有一个已绑定的助手转录,而不是接受通用的绑定后跳过。
- 直接调用
acpx CLI 仅用于手动 / 变通路径,以便比较 Gateway 网关外部的行为。Docker ACP 绑定冒烟测试实际演练的是 OpenClaw 内嵌的 acpx 运行时后端。
实时:Codex app-server harness 冒烟测试
- 目标:通过普通 Gateway 网关
agent 方法验证由插件拥有的 Codex harness:
- 加载内置
codex 插件
- 选择
OPENCLAW_AGENT_RUNTIME=codex
- 向
openai/gpt-5.2 发送第一轮 Gateway 网关智能体消息,并强制使用 Codex harness
- 向同一个 OpenClaw 会话发送第二轮消息,并验证 app-server
线程可以恢复
- 通过相同的 Gateway 网关命令
路径运行
/codex status 和 /codex models
- 可选运行两个经过 Guardian 审核的提权 shell 探测:一个应被批准的无害
命令,以及一个应被拒绝的伪造密钥上传操作,从而让智能体回头询问
- 测试:
src/gateway/gateway-codex-harness.live.test.ts
- 启用:
OPENCLAW_LIVE_CODEX_HARNESS=1
- 默认模型:
openai/gpt-5.2
- 可选图像探测:
OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1
- 可选 MCP / 工具探测:
OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1
- 可选 Guardian 探测:
OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1
- 该冒烟测试会设置
OPENCLAW_AGENT_HARNESS_FALLBACK=none,这样损坏的 Codex
harness 就无法通过悄悄回退到 PI 而蒙混过关。
- 认证:Codex app-server 认证来自本地 Codex 订阅登录。Docker
冒烟测试在适用时也可为非 Codex 探测提供
OPENAI_API_KEY,
以及可选复制的 ~/.codex/auth.json 和 ~/.codex/config.toml。
本地配方:
source ~/.profile
OPENCLAW_LIVE_CODEX_HARNESS=1 \
OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1 \
OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1 \
OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1 \
OPENCLAW_LIVE_CODEX_HARNESS_MODEL=openai/gpt-5.2 \
pnpm test:live -- src/gateway/gateway-codex-harness.live.test.ts
Docker 配方:
source ~/.profile
pnpm test:docker:live-codex-harness
Docker 说明:
- Docker 运行器位于
scripts/test-live-codex-harness-docker.sh。
- 它会
source 已挂载的 ~/.profile,传递 OPENAI_API_KEY,在存在时复制 Codex CLI
认证文件,将 @openai/codex 安装到一个可写的挂载 npm
前缀中,准备源码树,然后只运行 Codex harness 实时测试。
- Docker 默认启用图像、MCP / 工具和 Guardian 探测。需要更窄范围的调试
运行时,可设置
OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0 或
OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0 或
OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=0。
- Docker 也会导出
OPENCLAW_AGENT_HARNESS_FALLBACK=none,与实时
测试配置保持一致,这样旧别名或 PI 回退就无法掩盖 Codex harness
回归。
推荐的实时配方
范围收窄、显式的允许列表速度最快,也最不容易出错:
-
单模型,直接测试(无 Gateway 网关):
OPENCLAW_LIVE_MODELS="openai/gpt-5.2" pnpm test:live src/agents/models.profiles.live.test.ts
-
单模型,Gateway 网关冒烟测试:
OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.2" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
-
多个 provider 的工具调用:
OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.2,openai-codex/gpt-5.2,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,deepseek/deepseek-v4-flash,zai/glm-5.1,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
-
聚焦 Google(Gemini API key + Antigravity):
- Gemini(API key):
OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
- Antigravity(OAuth):
OPENCLAW_LIVE_GATEWAY_MODELS="google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-pro-high" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
-
Google 自适应推理冒烟测试:
- 如果本地密钥位于 shell profile 中:
source ~/.profile
- Gemini 3 动态默认值:
pnpm openclaw qa manual --provider-mode live-frontier --model google/gemini-3.1-pro-preview --alt-model google/gemini-3.1-pro-preview --message '/think adaptive Reply exactly: GEMINI_ADAPTIVE_OK' --timeout-ms 180000
- Gemini 2.5 动态预算:
pnpm openclaw qa manual --provider-mode live-frontier --model google/gemini-2.5-flash --alt-model google/gemini-2.5-flash --message '/think adaptive Reply exactly: GEMINI25_ADAPTIVE_OK' --timeout-ms 180000
说明:
google/... 使用 Gemini API(API key)。
google-antigravity/... 使用 Antigravity OAuth 桥接(类似 Cloud Code Assist 的智能体端点)。
google-gemini-cli/... 使用你机器上的本地 Gemini CLI(独立的认证 + 工具行为差异)。
- Gemini API 与 Gemini CLI 的区别:
- API:OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API(API key / profile 认证);大多数用户所说的 “Gemini” 指的都是这个。
- CLI:OpenClaw 调用本地
gemini 二进制;它有自己的认证方式,并且在流式传输 / 工具支持 / 版本偏差上可能表现不同。
实时:模型矩阵(我们覆盖什么)
没有固定的 “CI 模型列表” (实时测试是选择加入的),但以下是推荐在有密钥的开发机器上定期覆盖的推荐模型。
现代冒烟测试集(工具调用 + 图像)
这是我们期望持续可用的 “常用模型” 运行集:
- OpenAI(非 Codex):
openai/gpt-5.2
- OpenAI Codex OAuth:
openai-codex/gpt-5.2
- Anthropic:
anthropic/claude-opus-4-6(或 anthropic/claude-sonnet-4-6)
- Google(Gemini API):
google/gemini-3.1-pro-preview 和 google/gemini-3-flash-preview(避免较旧的 Gemini 2.x 模型)
- Google(Antigravity):
google-antigravity/claude-opus-4-6-thinking 和 google-antigravity/gemini-3-flash
- DeepSeek:
deepseek/deepseek-v4-flash 和 deepseek/deepseek-v4-pro
- Z.AI(GLM):
zai/glm-5.1
- MiniMax:
minimax/MiniMax-M2.7
运行带工具 + 图像的 Gateway 网关冒烟测试:
OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.2,openai-codex/gpt-5.2,anthropic/claude-opus-4-6,google/gemini-3.1-pro-preview,google/gemini-3-flash-preview,google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-flash,deepseek/deepseek-v4-flash,zai/glm-5.1,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
基线:工具调用(Read + 可选 Exec)
每个 provider 家族至少选一个:
- OpenAI:
openai/gpt-5.2
- Anthropic:
anthropic/claude-opus-4-6(或 anthropic/claude-sonnet-4-6)
- Google:
google/gemini-3-flash-preview(或 google/gemini-3.1-pro-preview)
- DeepSeek:
deepseek/deepseek-v4-flash
- Z.AI(GLM):
zai/glm-5.1
- MiniMax:
minimax/MiniMax-M2.7
可选的额外覆盖(有更好,没有也行):
- xAI:
xai/grok-4(或最新可用版本)
- Mistral:
mistral/…(选择一个你已启用、支持 tools 的模型)
- Cerebras:
cerebras/…(如果你有访问权限)
- LM Studio:
lmstudio/…(本地;工具调用取决于 API 模式)
视觉:图像发送(附件 → 多模态消息)
至少在 OPENCLAW_LIVE_GATEWAY_MODELS 中包含一个支持图像的模型(Claude / Gemini / 支持视觉的 OpenAI 变体等),以覆盖图像探测。
聚合器 / 替代 Gateway 网关
如果你已启用密钥,我们也支持通过以下方式测试:
- OpenRouter:
openrouter/...(数百个模型;使用 openclaw models scan 查找支持工具 + 图像的候选模型)
- OpenCode:Zen 使用
opencode/...,Go 使用 opencode-go/...(通过 OPENCODE_API_KEY / OPENCODE_ZEN_API_KEY 认证)
如果你有凭证 / 配置,还可以将更多 provider 纳入实时矩阵:
- 内置:
openai、openai-codex、anthropic、google、google-vertex、google-antigravity、google-gemini-cli、zai、openrouter、opencode、opencode-go、xai、groq、cerebras、mistral、github-copilot
- 通过
models.providers(自定义端点):minimax(云 / API),以及任何兼容 OpenAI / Anthropic 的代理(LM Studio、vLLM、LiteLLM 等)
不要在文档中硬编码 “所有模型”。权威列表应始终以你机器上 discoverModels(...) 的返回结果加上可用密钥为准。
凭证(绝不要提交)
实时测试会以与 CLI 相同的方式发现凭证。实际含义如下:
-
如果 CLI 能正常工作,实时测试应该也能找到相同的密钥。
-
如果某个实时测试提示 “no creds”,请用和调试
openclaw models list / 模型选择相同的方式来排查。
-
每智能体认证 profile:
~/.openclaw/agents/<agentId>/agent/auth-profiles.json(这就是实时测试中 “profile keys” 的含义)
-
配置:
~/.openclaw/openclaw.json(或 OPENCLAW_CONFIG_PATH)
-
旧版状态目录:
~/.openclaw/credentials/(如果存在,会被复制到暂存的实时 home 中,但它不是主 profile-key 存储)
-
本地实时运行默认会将当前激活的配置、每个智能体的
auth-profiles.json 文件、旧版 credentials/ 以及受支持的外部 CLI 认证目录复制到临时测试 home 中;暂存的实时 home 会跳过 workspace/ 和 sandboxes/,并剥离 agents.*.workspace / agentDir 路径覆盖,这样探测就不会落到你真实主机的工作区中。
如果你想依赖环境变量密钥(例如在你的 ~/.profile 中导出的那些),请在本地测试前运行 source ~/.profile,或者使用下面的 Docker 运行器(它们可以将 ~/.profile 挂载到容器中)。
Deepgram 实时测试(音频转录)
- 测试:
extensions/deepgram/audio.live.test.ts
- 启用:
DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live extensions/deepgram/audio.live.test.ts
BytePlus 编码计划实时测试
- 测试:
extensions/byteplus/live.test.ts
- 启用:
BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live extensions/byteplus/live.test.ts
- 可选模型覆盖:
BYTEPLUS_CODING_MODEL=ark-code-latest
ComfyUI 工作流媒体实时测试
- 测试:
extensions/comfy/comfy.live.test.ts
- 启用:
OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
- 范围:
- 覆盖内置 comfy 图像、视频和
music_generate 路径
- 除非配置了
plugins.entries.comfy.config.<capability>,否则会跳过各项能力
- 适用于修改 comfy 工作流提交、轮询、下载或插件注册之后的验证
图像生成实时测试
- 测试:
test/image-generation.runtime.live.test.ts
- 命令:
pnpm test:live test/image-generation.runtime.live.test.ts
- Harness:
pnpm test:live:media image
- 范围:
- 枚举每个已注册的图像生成 provider 插件
- 在探测前从你的登录 shell(
~/.profile)加载缺失的 provider 环境变量
- 默认优先使用实时 / 环境变量 API key,而不是已存储的认证 profile,因此
auth-profiles.json 中过期的测试密钥不会掩盖真实 shell 凭证
- 跳过没有可用认证 / profile / 模型的 provider
- 通过共享图像生成运行时运行每个已配置 provider:
<provider>:generate
- 当 provider 声明支持编辑时运行
<provider>:edit
- 当前覆盖的内置 provider:
fal
google
minimax
openai
openrouter
vydra
xai
- 可选范围收窄:
OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS="openai,google,openrouter,xai"
OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-2,google/gemini-3.1-flash-image-preview,openrouter/google/gemini-3.1-flash-image-preview,xai/grok-imagine-image"
OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit,openrouter:generate,xai:default-generate,xai:default-edit"
- 可选认证行为:
OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1 可强制使用 profile 存储认证,并忽略仅环境变量覆盖
对于已发布的 CLI 路径,在 provider / 运行时实时测试通过后,添加一个 infer 冒烟测试:
OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_INFER_CLI_TEST=1 pnpm test:live -- test/image-generation.infer-cli.live.test.ts
openclaw infer image providers --json
openclaw infer image generate \
--model google/gemini-3.1-flash-image-preview \
--prompt "Minimal flat test image: one blue square on a white background, no text." \
--output ./openclaw-infer-image-smoke.png \
--json
这覆盖了 CLI 参数解析、配置 / 默认智能体解析、内置
插件激活、按需的内置运行时依赖修复、共享
图像生成运行时,以及实时 provider 请求。
音乐生成实时测试
- 测试:
extensions/music-generation-providers.live.test.ts
- 启用:
OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts
- Harness:
pnpm test:live:media music
- 范围:
- 覆盖共享的内置音乐生成 provider 路径
- 当前覆盖 Google 和 MiniMax
- 在探测前从你的登录 shell(
~/.profile)加载 provider 环境变量
- 默认优先使用实时 / 环境变量 API key,而不是已存储的认证 profile,因此
auth-profiles.json 中过期的测试密钥不会掩盖真实 shell 凭证
- 跳过没有可用认证 / profile / 模型的 provider
- 在可用时运行两种已声明的运行时模式:
- 使用仅 prompt 输入的
generate
- 当 provider 声明
capabilities.edit.enabled 时运行 edit
- 当前共享通道覆盖:
google:generate、edit
minimax:generate
comfy:单独的 Comfy 实时测试文件,不在这个共享扫描中
- 可选范围收窄:
OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"
OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.6"
- 可选认证行为:
OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1 可强制使用 profile 存储认证,并忽略仅环境变量覆盖
视频生成实时测试
- 测试:
extensions/video-generation-providers.live.test.ts
- 启用:
OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts
- Harness:
pnpm test:live:media video
- 范围:
- 覆盖共享的内置视频生成 provider 路径
- 默认使用发布安全的冒烟测试路径:非 FAL provider、每个 provider 一次文生视频请求、一秒钟龙虾 prompt,以及来自
OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS 的每 provider 操作上限(默认 180000)
- 默认跳过 FAL,因为 provider 侧队列延迟可能主导发布时间;传入
--video-providers fal 或 OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal" 可显式运行它
- 在探测前从你的登录 shell(
~/.profile)加载 provider 环境变量
- 默认优先使用实时 / 环境变量 API key,而不是已存储的认证 profile,因此
auth-profiles.json 中过期的测试密钥不会掩盖真实 shell 凭证
- 跳过没有可用认证 / profile / 模型的 provider
- 默认仅运行
generate
- 设置
OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 后,在可用时也运行已声明的转换模式:
- 当 provider 声明
capabilities.imageToVideo.enabled,且所选 provider / 模型在共享扫描中接受基于 buffer 的本地图像输入时,运行 imageToVideo
- 当 provider 声明
capabilities.videoToVideo.enabled,且所选 provider / 模型在共享扫描中接受基于 buffer 的本地视频输入时,运行 videoToVideo
- 当前在共享扫描中已声明但跳过的
imageToVideo provider:
vydra,因为内置 veo3 仅支持文本,而内置 kling 需要远程图像 URL
- provider 专属的 Vydra 覆盖:
OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_VYDRA_VIDEO=1 pnpm test:live -- extensions/vydra/vydra.live.test.ts
- 该文件会运行
veo3 文生视频,以及默认使用远程图像 URL fixture 的 kling 通道
- 当前
videoToVideo 实时覆盖:
- 仅
runway,且所选模型为 runway/gen4_aleph
- 当前在共享扫描中已声明但跳过的
videoToVideo provider:
alibaba、qwen、xai,因为这些路径当前需要远程 http(s) / MP4 参考 URL
google,因为当前共享 Gemini / Veo 通道使用本地基于 buffer 的输入,而该路径在共享扫描中不被接受
openai,因为当前共享通道无法保证特定组织的视频 inpaint / remix 访问权限
- 可选范围收窄:
OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="google,openai,runway"
OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"
OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS="" 可将所有 provider 都纳入默认扫描,包括 FAL
OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000 可在激进的冒烟测试中降低每个 provider 的操作上限
- 可选认证行为:
OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1 可强制使用 profile 存储认证,并忽略仅环境变量覆盖
媒体实时测试 Harness
- 命令:
pnpm test:live:media
- 目的:
- 通过一个仓库原生入口运行共享的图像、音乐和视频实时测试套件
- 自动从
~/.profile 加载缺失的 provider 环境变量
- 默认自动将每个套件收窄为当前具有可用认证的 provider
- 复用
scripts/test-live.mjs,因此心跳和静默模式行为保持一致
- 示例:
pnpm test:live:media
pnpm test:live:media image video --providers openai,google,minimax
pnpm test:live:media video --video-providers openai,runway --all-providers
pnpm test:live:media music --quiet
相关内容