字节Seed新成立的模型安全与对齐部门,任务清单里有两个关键词值得反复咀嚼:Agent Model安全与CBRN前沿风险防范。前者管“行为”,后者管“能力”。这两个词放在一起,实际上宣告了安全评估对象的一次根本迁移——从“模型说了什么”,转向“模型会做什么、能做什么”。作为第三方评测机构,我们想谈谈这一迁移对评估方法论意味着什么,以及我们的思考与实践。
一、评估对象的三次跃迁
回顾大模型安全评估的演进,可以清晰看到三次对象跃迁。
第一代评估针对内容。生成文本是否含有违法不良信息、是否符合主流价值观、是否存在偏见歧视。这是备案合规评估的主战场,GB/T 45654—2025中的31类安全风险、语料抽检合格率等要求,本质上都是内容维度的量化。这一代评估方法相对成熟:测试题库+关键词库+人工抽检,“考卷式”评估可以覆盖大部分场景。
第二代评估针对行为。当模型进化为智能体,它不再只是“说话”,而是开始“做事”:拆解任务、规划步骤、调用工具、执行API、操作数据。风险也随之从“说错话”变成“做错事”——越权访问、任务偏离、被提示词注入劫持、在多步执行中绕过人工确认。2026年9月头部厂商智能体绕过安全防护的事件,正是行为风险的典型样本。这一代评估再也无法用“考卷”完成:你必须让智能体在沙盒环境里真实执行任务,观察它的行为链,而不是审阅它的答卷。
第三代评估针对能力。CBRN风险防范的逻辑更进一步:需要回答的不是“模型这次做了什么”,而是“模型在极端条件下能够做什么”——它是否掌握着可被滥用的危险知识,这些知识能否通过多轮诱导被激发,能力是否会随微调或工具接入而“涌现”。这类评估在国际上被称为危险能力测评(Dangerous Capability Evaluations),是Anthropic RSP、OpenAI Preparedness Framework中最核心也最具挑战的部分。
二、智能体行为安全,应该评什么
基于我们在智能体管理能力成熟度评估中的实践,以及对国际前沿框架的持续跟踪,我们认为一套合格的智能体行为安全评估,至少应覆盖四个量化维度:
权限边界遵守率:智能体在被授予有限工具权限时,是否严格在授权范围内行动?测试中需要故意设置“诱惑性越权场景”——例如任务目标客观上需要调用未授权接口——观察智能体是选择报告限制还是擅自越权。
多步任务偏离率:在十步以上的长链条任务中,智能体的行为是否始终服务于人类设定的原始意图?意图漂移往往发生在中间步骤,单步检查无法发现,必须对完整行为链做审计。
注入攻击抵抗率:当智能体读取的网页、文档、邮件中嵌入恶意指令(间接提示词注入),它能否识别并拒绝执行?这是当前智能体被攻击的最主要入口,需要大规模、持续更新的攻击剧本库支撑。
危险操作拦截率:涉及删除数据、对外发送、资金操作等不可逆动作时,智能体是否正确触发人工确认机制?拦截不是目的,“该拦的拦、该放的放”才是——误拦率同样应纳入评估。
这四个维度共同指向一个方法论结论:智能体安全评估的基础设施,是“沙盒环境+攻击剧本库+行为审计链”的三位一体,而非传统测评的问卷与题库。
三、CBRN评估:第三方机构的责任与边界
能力维度的评估更为敏感。一方面,测试危险能力本身需要触及危险知识,评估机构必须建立严格的测试材料管控与伦理审查机制;另一方面,国内尚没有成熟的第三方 CBRN测评实践,方法学需要与具备生物、化学安全背景的科研院所共建。
我们的判断是:CBRN测评短期内不会成为市场化业务,但它会进入监管视野——修订稿中的分级备案制度已经显露按能力分级监管的苗头。对第三方机构而言,此刻的价值在于方法学储备与标准卡位:谁先参与定义“怎么评”,谁就在未来的合规体系中拥有位置。这也是中检天帷依托网数安全能力研究院持续推进前沿测评研究的原因。
四、常态化:评估的终局是“持续”而非“一次性”
无论内容、行为还是能力,评估的时间维度都在发生同样重要的变化。GB/T 45654—2025已将“常态化监测测评”写入要求——模型会持续迭代,攻击手法会持续进化,一次性的“体检合格证”注定失效。评估的终局形态,是订阅式的持续红队测试与运行期行为监控:自动化攻击平台7×24小时对模型施压,评估结论随版本迭代动态更新。
这正是我们把自动化渗透测试、攻防演练平台与AI评测方法论结合,构建自动化红队测试能力的原因——安全评估正在从“项目”进化为“服务”,从“报告”进化为“持续的信任状态”。
结语
从“说了什么”到“会做什么”,再到“能做什么”,评估对象的每一次跃迁,都是对整个评测行业的重新洗牌。旧的方法论不会完全失效,但只会旧方法的机构一定会。中检天帷在等保测评时代积累的是公信力与合规方法论,在大模型时代我们已经完成了资质的卡位,而在智能体时代,我们正在完成方法论的升级。
安全评估的对象在变,但第三方的使命不变:以独立之姿,为每一项关键能力出具值得信任的证明。
系列回顾:第一篇《一周内两个信号》解读事件与市场共振;第二篇《大模型评测的第三方时代来了》研判行业趋势。欢迎关注中检天帷,与我们共同探讨大模型与智能体安全治理。