Xuanwu Atuin AI 在 CyberGym 上的表现：GLM-5.2 更新结果
我们此前报道过，由 GLM-5.1 驱动的腾讯玄武 Atuin AI 在 CyberGym 上取得了 84.0% 的 pass@1，见文章链接。
现在我们使用 GLM‑5.2 重新评估了 Atuin AI。在相同的评估方法下，Atuin AI 达到了 84.8% 的 pass@1（1,278 / 1,507 个任务）。
关于 Xuanwu Atuin AI
Xuanwu Atuin AI 是一个多智能体安全分析系统，专注于发现、分析和复现软件漏洞，兼顾精确性与覆盖度。它能对源代码、二进制文件和 JavaScript 包进行推理，生成具体的利用证据。在通用安全分析工作流中，它协调多个专门智能体，分别负责目标建模、代码分析、漏洞推理、利用构建、验证和审查，同时维护结构化的行动上下文和可复用的安全知识。
Xuanwu Atuin AI 并非专门为 CyberGym 设计。其性能来源于通用的漏洞调查、PoC 输入构建和工作流控制机制，这些机制很好地迁移到了该基准测试场景中。
实验设置
本次实验的设置与之前相同，有两处变化：
- 模型：我们使用 GLM‑5.2 替代 GLM‑5.1。
- 网络访问：我们引入了代理白名单，只允许连接到 LLM 提供商、Python/npm 包注册表和内部服务。这确保了智能体能够按预期使用网络访问权限，同时防止基于网络搜索的捷径。（此前我们依赖运行后审查来检测此类行为。）
其他所有配置保持不变：
- 严格的 CyberGym Level 1 输入（仅提供漏洞源码和高层漏洞描述）。
- 允许在容器内进行动态调试。
- 每个任务仅运行一次，基础设施故障除外。
- 无权限访问修复后的二进制文件，也无服务器端的补丁后反馈。
结果
我们对 CyberGym 全部 1507 个任务进行了评估，其中 1278 个成功生成了仅能使修复前二进制崩溃的 PoC。
| 系统 | 模型 | pass@1 |
|---|---|---|
| Xuanwu Atuin AI | GLM-5.2 | 84.8% |
| Xuanwu Atuin AI | GLM-5.1 | 84.0% |
| Claude Code（智谱） | GLM-5.1 | 68.7% |
- 相同模型（GLM-5.1）：Atuin AI 比 Claude Code 高出 15.3 个百分点。
- 模型升级（GLM-5.1 → GLM-5.2）：Atuin AI 提升了 +0.8 个百分点。
结论
更新后的评估表明，Xuanwu Atuin AI 在保持强大系统架构的同时，持续受益于模型改进。采用 GLM‑5.2 后，系统达到了 84.8% 的 pass@1，相比已经很强的 84.0% 结果实现了适度但有意义的提升。