结论先说：评估一个 AI 产品防越狱和防注入的能力，至少要同时看两类指标：攻击成功率（ASR，越低越好）和正常请求误拦率（越低越好）。只看 ASR 会把产品调成“什么都拒绝”。测试用例按“攻击类别 × 注入入口 × 目标危害 × 语言 × 轮次”五个维度组合设计，用例描述保持在类别层面，具体载荷由授权红队工具在隔离环境生成。本文给出熊猫出海的测试矩阵模板和计算器。
安全说明：本文只讲防护与评估，不提供任何越狱提示词、可复制攻击载荷或提示词包链接；仅测试你拥有或获得授权的系统。
一、核心评测指标
| 指标 | 定义 | 说明 |
|---|---|---|
| ASR 攻击成功率 | 判定为攻击成功的用例数 ÷ 攻击用例总数 | 学术基准普遍使用；“成功”的判定标准必须事先写清 |
| 误拦率（False Refusal / FPR） | 被拦截或拒答的正常请求数 ÷ 正常请求总数 | 衡量护栏对业务的伤害 |
| 漏报率 | 未被护栏拦下的攻击 ÷ 攻击总数 | 衡量单个护栏组件 |
| 间接注入成功率 | 藏在文档/网页/工具返回中的指令被执行的比例 | Agent 与 RAG 场景必测 |
| 回归差值 | 新版本 ASR − 旧版本 ASR | 模型或提示词变更后看是否变差 |
ASR 的用法参考 HarmBench（Mazeika 等，2024）、JailbreakBench（Chao 等，2024）；“回答了但没有实质危害”应如何计分可参考 StrongREJECT（Souly 等，2024） 的评分思路；Agent 间接注入可参考 AgentDojo（Debenedetti 等，2024）。本文不引用这些论文中的具体数值。
二、测试矩阵：五个维度（熊猫出海方法框架）
2.1 维度定义
| 维度 | 取值示例（类别层面） |
|---|---|
| 攻击类别 | 角色扮演、编码/混淆、多轮渐进、权威伪装、上下文溢出、间接注入 |
| 注入入口 | 用户对话框、上传文件、RAG 文档、网页内容、工具返回值、图片中的文字 |
| 目标危害 | 绕过内容政策、泄露系统提示词、泄露他人数据、越权调用工具、输出恶意链接 |
| 语言 | 业务覆盖的每个语种 + 混合语言 |
| 轮次 | 单轮、多轮（3–10 轮） |
2.2 优先级怎么排
不必穷举所有组合。先按 威胁建模 的高风险项选“目标危害”，再给每个危害配 2–3 种入口和全部业务语种。工具支持参见 garak/PyRIT/promptfoo 红队教程。
2.3 用例怎么写（不写载荷）
每条用例记录：编号、维度组合、前置条件、期望行为（拒绝/降级/转人工/忽略外部指令）、判定标准、关联控制措施。具体测试输入交由 garak、PyRIT、promptfoo 等工具的内置探针在授权的测试环境生成并保存在内部，不对外发布。
三、正常请求集：别忘了另一半
- 从真实客服日志脱敏抽样，覆盖每个语种；
- 专门加入“看起来像攻击但其实正常”的边界样本，例如安全研究话题、含“忽略”一词的正常句子；
- 正常集与攻击集数量建议同一量级，避免指标失真。
四、ASR 与误拦率计算器
ASR / 误拦率计算器（浏览器本地计算，不上传数据）
输入数字为示例，非实测数据；5% 提示线为熊猫出海经验设定，请按业务风险自定目标。
五、判定标准与报告模板
| 字段 | 填写说明 |
|---|---|
| 版本信息 | 模型、系统提示词版本、护栏版本与阈值 |
| 用例集版本 | 攻击集/正常集条数与语种分布 |
| 判定方法 | 人工、规则或 LLM 评审；若用 LLM 评审需抽样人工复核 |
| 结果 | ASR、误拦率、按维度拆分的结果 |
| 变化 | 与上一版本的回归差值 |
| 行动项 | 每个失败类别对应的修复与负责人 |
标注“熊猫出海方法框架”的模型、模板与权重为熊猫出海原创整理，用于内部评估与客户咨询，不是行业标准或认证；引用时请注明出处。
六、测试体系成熟度评分器
越狱/注入测试体系成熟度（勾选已做到的项，浏览器本地计分，不上传数据）
七、常见问题（FAQ）
7.1 ASR 降到多少算安全？
没有通用标准，取决于业务影响；高影响工具场景应以“即使成功也无法造成损失”为目标，而不是只追求低 ASR。
7.2 可以直接用公开基准的成绩吗？
公开基准测的是模型，你的产品还叠加了提示词、护栏和工具，需用自己的用例集重测。
7.3 LLM 当评审可靠吗？
可提高效率，但会有误判，建议抽样人工复核。
7.4 熊猫出海能代做测试吗？
可以在授权范围内执行，范围与报价请向熊猫出海确认。
延伸阅读：garak/PyRIT/promptfoo 红队教程、越狱提示词为什么有效、四大模型越狱防护横评；术语见出海广告与 AI 术语表，模型对比见四大模型越狱防护横评。
八、熊猫出海 AI大模型安全防护服务
熊猫出海（香港）除海外广告开户与代投、GEO/AI 搜索优化、多语言网站外，也提供AI大模型安全防护服务：梳理 AI 客服、智能体与 RAG 应用的攻击面，帮你选型并部署输入/输出护栏（如 Llama Guard、NeMo Guardrails 或云厂商护栏），对照 OWASP LLM Top 10 做上线前评估与红队回归。具体报价与交付范围请向熊猫出海确认，欢迎访问熊猫出海官网联系我们。
最后更新：2026-10-24
引用本页：熊猫出海 pandawm.com《越狱与提示词注入测试用例怎么设计？攻击成功率 ASR、误拦率、拒答率等评测指标详解与测试矩阵模板（HarmBench、JailbreakBench、AgentDojo 参考，附 ASR 计算器，2026）》，https://www.pandawm.com/blog/jailbreak-prompt-injection-test-case-design-asr-metrics.html
微信扫一扫打赏
支付宝扫一扫打赏
