结论先说:AI 客服或智能体被越狱、被注入时,第一件事不是改提示词,而是止血:关掉高风险工具或切到只读模式,保留完整日志,再判断影响范围。熊猫出海把处置整理为 6 步:发现 → 分级 → 遏制 → 取证 → 修复与回归 → 复盘与通报,结构上对齐 NIST SP 800-61 Rev.3 的事件响应思路,并补上 LLM 特有的取证项。 安全说明:本文只讲防护与评估,不提供任何越狱提示词、可复制攻击载荷或提示词包链接;仅测试你拥有或获得授权的系统。 一、AI 安全事件有哪些类型 类型典型表现OWASP 对应内容越狱模型输出违反政策的内容并被截图传播LLM01间接注入模型执行了网页/邮件/文档里的隐藏指令LLM01系统提示词泄露内部提示、业务规则被套出LLM07数据泄露输出了其他用户的订单、联系方式LLM02/LLM08越权操作Agent 发了不该发的邮件、做了退款LLM06资源滥用接口被刷,费用异常LLM10 对应关系参照 OWASP LLM Top 10 中文清单;攻击技术可在 MITRE ATLAS 中查找相应条目用于报告归类。 二、分级标准(熊猫出海方法框架) 级别判定条件响应时限建议P1 严重发生越权操作、资金损失或个人数据泄露立即启动,先下线相关工具P2 高可稳定复现的越狱/注入,影响面向公网用户当天内遏制P3 中需复杂条件才能复现,未造成实际损失本迭代修复P4 低单次、无法复现或仅内部可触达记录并纳入回归 2.1 事件分级计算器 AI 安全事件分级计算器(填 1 = 是,0 = 否)(浏览器本地计算,不上传数据)是否发生越权操作或资金损失:是否泄露个人数据或其他用户数据:是否可稳定复现:是否公网匿名用户可触发: 计算 分级逻辑为熊猫出海方法框架,仅供参考;涉及个人数据时请咨询你所在市场的律师确认通报义务。 三、6 步处置流程 3.1 发现来源包括护栏告警、用户投诉、社媒截图、费用异常。平时就要有 L6 监控层。 3.2 分级用上表或计算器定级,指定事件负责人。 3.3 遏制关闭或降级高风险工具(只读模式);临时收紧输入护栏阈值;对触发账号限流或封禁;必要时用下线开关整体关闭 AI 功能。 3.4 取证(LLM 特有清单) 证据为什么需要完整对话与时间戳还原攻击路径与轮次检索到的片段及来源 URL/文档 ID判断是否间接注入工具调用参数与返回值确认实际造成的操作模型、系统提示词、护栏版本复现与回归护栏评分与拦截记录判断是哪一层失守 取证内容属于敏感数据,应访问受控、按隐私政策保存。 3.5 修复与回归修复要落在对应层(权限、隔离、护栏),而不是只在系统提示里多加一句话;修复后把该事件抽象成类别级用例加入回归集,见 测试用例设计。 3.6 复盘与通报无责复盘:时间线、根因、失守层级、改进项。若涉及个人数据,请按各市场法规评估通报义务;面向欧盟用户的产品还需关注 EU AI Act 实施时间表(据欧盟 AI Act Service Desk,经 Digital Omnibus 修订后 Annex III...
