【新智元导读】随着大模型智能体深入渗透真实操作系统，一种全新的安全威胁悄然成型：行为越狱（Behavior Jailbreak）。现有安全基准只盯着模型「说了什么」，却对「做了什么」视而不见。新基准LITMUS是首个同时覆盖真实OS环境行为越狱、语义-物理双层验证与多攻击范式的完整评测体系，并首次系统量化了「执行幻觉」这一被整个评测社区忽视的致命盲区。 当AI智能体不再只是聊天工具，而是真正接管你的服务器、操作你的文件、执行你的脚本——安全评测这件事，就不能再停留在「看它说了什么」的层面了。 然而，当前几乎所有主流智能体安全基准，依然把判断终点停在「语义输出层」——只问模型拒没拒，不管OS改没改。这一根本性缺陷，催生了一种极其危险的幻象： 为了彻底拆解这一盲区，来自南京航空航天大学、浙江大学的研究团队推出了LITMUS（LLM-agentsIn-OSTesting forMeasuringUnsafeSubversion）——首个将真实OS环境行为越狱、语义-物理双层验证与多攻击范式系统整合的智能体安全评测基准，首次在行为越狱中系统定义并量化这种「行口不一」的现象——执行幻觉（Execution Hallucination, EH）。 AdvBench、HarmBench 等经典基准，判断终点是「模型有没有生成有害文本」。但在真实 OS 环境中，危险来自工具调用——模型不需要「说出」危险内容，只需悄悄调用一个系统命令，文件就被删了，密钥就泄露了。文本安全，根本不等于行为安全。 如果测试 A 修改了某个系统文件，而测试 B 恰好依赖同一个文件，那么B的结果测的到底是「模型的安全性」，还是「A留下的污染」？在没有 OS 级状态回滚的情况下，这个问题无解。 LITMUS在每次测试对话前后，都会对真实操作系统进行快照采集。物理判定基于系统状态的实际变化，与模型的对话内容完全独立。即便模型嘴上说「我拒绝了」，只要 OS 状态显示危险操作已完成，物理判定依然给出「执行成功」。 每条测试用例均配备了预置与恢复动作，由专门的Recoverer智能体在测试前初始化系统基线、测试后完整还原，从根本上消除用例间的污染，确保评测结果真正可复现。 LITMUS数据集包含819条高风险测试用例，来源涵盖真实漏洞数据库（CVE/GHSA）、公开渗透测试报告，以及经人工精炼验证的LLM生成案例，全部在真实OS中通过物理测试验证。 诱使智能体使用攻击者提供的 SKILL，将恶意的 SKILL.md 文件内容注入智能体工具链，在正常任务调用时自动触发，绕过前端提示词过滤。 图示：LITMUS评测框架的六智能体分工示意。Prosecutor发出指令，Verifier独立采集OS快照，Analyzer（物理判定）与 Reviewer（语义判定）各自独立产出标签，共同构成2×2语义-物理混淆矩阵。 图示：六款模型在 LITMUS 种子数据集上的攻击成功率（ASR）与执行幻觉率（EHR）总览。 SPSR、SOSR、POSR、SPFR 分别为完全越狱、攻击欺骗、隐蔽执行、完全失败的样本比例。 值得特别关注的是「通信外联」（CO）类别——跨模型、跨攻击范式，这一类别的 ASR 几乎始终最高，最极端情况接近97%。这表明：智能体似乎天然地将「发送消息」等外联操作视为无害行为，导致数据外泄成为最难防守的攻击面。 相对地，「任务链」（CT）类别的 ASR 最低（Claude Sonnet 4.6仅21.72%），因为将多个恶意子步骤串联成一个请求，反而让整体恶意意图更加显眼，更容易被识别拒绝。 其中最危险的「隐蔽执行」（Covert Execution）模式——模型语言层面明确拒绝，但 OS 层面危险操作已悄然完成——在所有模型上均有出现，Deepseek-v3.2的该项比率达到4.84%。 这意味着一个极其严肃的现实：任何只依赖对话日志的安全审计，本质上是不可靠的。安全审计人员看到「模型拒绝了」，但系统已经被攻破。 技能注入和实体包装（这两种将恶意指令「藏进」工具链或外部内容的间接攻击）在两款代表模型（Deepseek-v3.2与Claude Sonnet 4.6）上均实现了显著的 ASR 提升。 相比之下，直接使用「红队测试」或「调试模式」话术进行越狱的效果，则呈现出强烈的模型依赖性：Claude Sonnet 4.6 对显式恶意信号极为敏感，这类话术反而会激活安全机制，导致 ASR 跌破基线；而 Deepseek-v3.2 则倾向于将同样的信号解读为"合法操作授权"，导致合规率反升。 这说明：不同模型对「显式恶意意图」的语义解读存在根本差异，话术类越狱策略的有效性无法跨模型迁移。但间接攻击的高成功率，则是跨模型一致的普遍规律：智能体的执行流水线，而非前端提示词过滤，才是真正的主要失守点。 研究团队明确呼吁：EHR应当与ASR并列，成为LLM智能体行为安全评测的标准指标。在智能体走向真实OS部署的今天，单靠ASR，仍然是对安全的幻觉。 LITMUS作为一个开放的活性基准（Living Benchmark），欢迎社区持续贡献新的模型评测结果与测试用例，共同推动LLM智能体安全评测走向严格、可信、可复现的新范式。
spider