大模型红队测试 garak PyRIT promptfoo

出海AI产品红队测试教程:用 garak、PyRIT、promptfoo 做越狱与提示词注入自测(安装、跑自己的模型、读报告,2026)

最后更新:2026-10-23 想提高自己和客户的 AI 防护水平,正确做法不是公开发越狱指南,而是用正规开源红队工具,对你拥有或已获书面授权的模型接口做自动化测试。OWASP LLM01 也把对抗测试列为缓解策略之一(OWASP)。本教程覆盖三款主流工具的安装级用法、如何指向你自己的 API、如何读报告——不会粘贴任何攻击提示词或载荷;探针内容由工具维护,你只需看结果。 概念基础见破甲防护清单;手法对照见越狱提示词为什么有效。 一、三款工具怎么选 工具维护方擅长学习曲线官网 / 文档 garakNVIDIA漏洞扫描式探针(注入、越狱、泄露、毒性等),CLI 友好低–中GitHub · docs.garak.ai PyRITMicrosoft可编排的单轮/多轮攻击策略框架、记忆与评分器中–高PyRIT 文档 promptfoo开源社区应用级红队、OWASP 映射报告、CI/CD 友好低promptfoo red team 实用组合:日常回归用 promptfoo 或 garak;要深挖多轮策略用 PyRIT。 二、法律与安全前提(必读) 只测试自己的模型、自家 API Key、或合同明确授权的环境。 不要把工具生成的失败样例(可能含有害内容)发到公网或客户群。 在隔离环境跑;API Key 用环境变量,不写进仓库。 三、garak:安装与扫描自己的接口 3.1 安装 python -m pip install -U garak garak --list_probes 官方说明见 NVIDIA/garak README。Python 版本以官方当前要求为准(文档常见要求 3.11+)。 3.2 指向 OpenAI 兼容接口(示例结构) export OPENAI_API_KEY="你的密钥" garak --target_type openai --target_name 你的模型名 --spec probes.promptinject 把 你的模型名 换成你实际调用的部署名。也可用 huggingface、rest 等 generator(见官方 generators 文档)。用 --spec 限制探针族,避免第一次就跑全集导致费用失控。 3.3 怎么读结果 终端会对每个探针给出通过/失败与失败率。出现 FAIL 不代表“立刻不能上线”,而表示该探针族在当前配置下触发了不期望行为——应结合业务风险决定是否阻断发布,并把样例留给安全同事在隔离环境分析。不要把失败样例当教程传播。 四、promptfoo:应用级红队与 CI npm install -g promptfoo promptfoo redteam init promptfoo...
联系我们

联系我们

工作时间:周一至周五,9:00-17:30,节假日休息

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部