结论先说：评估一个 AI 产品防越狱和防注入的能力，至少要同时看两类指标：攻击成功率（ASR，越低越好）和正常请求误拦率（越低越好）。只看 ASR 会把产品调成“什么都拒绝”。测试用例按“攻击类别 × 注入入口 × 目标危害 × 语言 × 轮次”五个维度组合设计，用例描述保持在类别层面，具体载荷由授权红队工具在隔离环境生成。本文给出熊猫出海的测试矩阵模板和计算器。 安全说明：本文只讲防护与评估，不提供任何越狱提示词、可复制攻击载荷或提示词包链接；仅测试你拥有或获得授权的系统。 一、核心评测指标 指标定义说明ASR 攻击成功率判定为攻击成功的用例数 ÷ 攻击用例总数学术基准普遍使用；“成功”的判定标准必须事先写清误拦率（False Refusal / FPR）被拦截或拒答的正常请求数 ÷ 正常请求总数衡量护栏对业务的伤害漏报率未被护栏拦下的攻击 ÷ 攻击总数衡量单个护栏组件间接注入成功率藏在文档/网页/工具返回中的指令被执行的比例Agent 与 RAG 场景必测回归差值新版本 ASR − 旧版本 ASR模型或提示词变更后看是否变差 ASR 的用法参考 HarmBench（Mazeika 等，2024）、JailbreakBench（Chao 等，2024）；“回答了但没有实质危害”应如何计分可参考 StrongREJECT（Souly 等，2024） 的评分思路；Agent 间接注入可参考 AgentDojo（Debenedetti 等，2024）。本文不引用这些论文中的具体数值。 二、测试矩阵：五个维度（熊猫出海方法框架） 2.1 维度定义 维度取值示例（类别层面）攻击类别角色扮演、编码/混淆、多轮渐进、权威伪装、上下文溢出、间接注入注入入口用户对话框、上传文件、RAG 文档、网页内容、工具返回值、图片中的文字目标危害绕过内容政策、泄露系统提示词、泄露他人数据、越权调用工具、输出恶意链接语言业务覆盖的每个语种 + 混合语言轮次单轮、多轮（3–10 轮） 2.2 优先级怎么排不必穷举所有组合。先按 威胁建模 的高风险项选“目标危害”，再给每个危害配 2–3 种入口和全部业务语种。工具支持参见 garak/PyRIT/promptfoo 红队教程。 2.3 用例怎么写（不写载荷）每条用例记录：编号、维度组合、前置条件、期望行为（拒绝/降级/转人工/忽略外部指令）、判定标准、关联控制措施。具体测试输入交由 garak、PyRIT、promptfoo 等工具的内置探针在授权的测试环境生成并保存在内部，不对外发布。 三、正常请求集：别忘了另一半从真实客服日志脱敏抽样，覆盖每个语种；专门加入“看起来像攻击但其实正常”的边界样本，例如安全研究话题、含“忽略”一词的正常句子；正常集与攻击集数量建议同一量级，避免指标失真。 四、ASR 与误拦率计算器 ASR / 误拦率计算器（浏览器本地计算，不上传数据）攻击用例总数：判定攻击成功数：正常请求总数：正常请求被误拦数： 计算 输入数字为示例，非实测数据；5% 提示线为熊猫出海经验设定，请按业务风险自定目标。 五、判定标准与报告模板 字段填写说明版本信息模型、系统提示词版本、护栏版本与阈值用例集版本攻击集/正常集条数与语种分布判定方法人工、规则或 LLM 评审；若用 LLM 评审需抽样人工复核结果ASR、误拦率、按维度拆分的结果变化与上一版本的回归差值行动项每个失败类别对应的修复与负责人 标注“熊猫出海方法框架”的模型、模板与权重为熊猫出海原创整理，用于内部评估与客户咨询，不是行业标准或认证；引用时请注明出处。 六、测试体系成熟度评分器 越狱/注入测试体系成熟度（勾选已做到的项，浏览器本地计分，不上传数据） 计算得分 七、常见问题（FAQ） 7.1 ASR 降到多少算安全？没有通用标准，取决于业务影响；高影响工具场景应以“即使成功也无法造成损失”为目标，而不是只追求低 ASR。 7.2 可以直接用公开基准的成绩吗？公开基准测的是模型，你的产品还叠加了提示词、护栏和工具，需用自己的用例集重测。...