DeepTeam：自带guardrails的通用AI红队安全测试框架

一、它解决什么问题

LLM 应用上线前的对抗测试，目前有三条路：静态数据集（HEx-PHI、HarmBench 这类，拿固定题目测一轮）、攻击生成器（garak，模板化地造恶意输入）、人肉红队（贵，不可重复）。三者共同的缺口是判定——题目打出去了，系统回没回危险内容，还是要人一条条看，或者接一个和测试脱节的判分器。

DeepTeam 补的是这一格：攻击生成和判定用同一条流水线串起来，都自动化。它由 Confident AI（deepeval 那支团队）开发，Apache-2.0，2025 年 3 月开源，当前 v1.0.10。

定位一句话：garak 管「怎么打」，AISVS 管「要什么」，DeepTeam 干两件事——把「打 + 判 + 评」做成流水线，再用护栏把测出来的漏洞类型在生产环境拦下来。 而且两半共用同一套漏洞分类：红队测出「偏见」「PII 泄漏」「提示注入」，护栏里就有同名的守卫，测试结论能直接变成线上配置。

二、流水线怎么转

核心是双模型：simulator_model 生成攻击（默认 gpt-4o-mini），evaluation_model 当裁判（默认 gpt-4o-mini）。被测系统通过一个 callback 契约接入：

1
2
3
4
5
6

def model_callback(input: str, turns: list = None) -> RTTurn:
    return RTTurn(
        content=...,                 # 模型回复正文
        retrieval_context=...,       # RAG 检索到的上下文（裁判会看到）
        tools_called=...,            # 工具调用记录（裁判也会看到）
    )

这个契约是 DeepTeam 区别于简单「问一句判一句」的地方：裁判能看到被测系统拿到的检索上下文和它调了哪些工具——RAG 投毒、工具调用越权这类风险才能被真正测到。多轮攻击通过 turns 传入历史，被测回复若出现话题漂移，会以 SHIFT_DETECTED 的原因提前停。

一次完整测试的内部流程：

运行入口两个：Python 的 red_team() 一键函数，或 YAML 配置 + CLI。YAML 里 attacks_per_vulnerability_type（每类型打几条）、max_concurrent（并发）、ignore_errors（出错是否继续，默认 True）都是显式可配的。

三、能测什么

漏洞面：36 类 / 251 型

Agentic 大类是它和 2025 年那一代红队工具最大的差别：测的不只是「模型会不会说错话」，而是「Agent 会不会做错事」。

攻击面：22 种单轮 + 5 种多轮

单轮 22 种，覆盖提示注入、越狱、PII 提取等；多轮 5 种，是从论文里落地的那批：Crescendo（逐轮升级，一步步引导）、Linear（线性递进）、Tree（树状分支探索）、Sequential（顺序组合）、BadLikertJudge（专测裁判可靠性的攻击）。多轮攻击的价值在于：单轮判不出来的模型，往往在第三、四轮被温水煮青蛙。

四、三个读码发现

按源码逐行核对后，有三个值得在报告签字前知道的事：

五、护栏：生产环境怎么防

红队测试回答「哪里会漏」，护栏回答「线上拿什么拦」。DeepTeam 内置 7 个护栏，官方定位就是生产环境用的：

用法是给输入和输出各挂一组守卫：

1
2
3
4
5
6
7
8
9
10
11
12
13

from deepteam import Guardrails
from deepteam.guardrails.guards import PromptInjectionGuard, ToxicityGuard

guardrails = Guardrails(
    input_guards=[PromptInjectionGuard(), ToxicityGuard()],  # 输入先拦
    output_guards=[ToxicityGuard()],                         # 输出再拦
    evaluation_model="gpt-4.1",
    sample_rate=1.0,
)

result = guardrails.guard_input(user_input)
result.breached   # 任一守卫不是明确 safe 即 True
result.verdicts   # 每个守卫的判定 + 理由 + 延迟 + 分数

几条读码看到的机制：

• 判定是 LLM 结构化输出：每个守卫把要查的文本交给模型（默认 gpt-4.1），只允许回 safe / borderline / unsafe 三档加一句 reason。不是本地规则分类器，所以每条拦截都在烧 token，成本随流量线性涨。
• 击穿口径严：任一守卫报 unsafe、borderline 甚至 uncertain 都算 breached——不是明确 safe 就是击穿。
• 失败即拦截：守卫自己调用出错时，判定按 unsafe 记（fail-closed），宁可误杀不漏放。
• 输出护栏带着输入判：guard_output(input, output) 把用户输入和模型输出一起交给守卫，提示注入、上下文相关的内容才判得准。
• sample_rate 是省钱旋钮：设 0.1 就是每 10 条请求拦 1 条，确定性采样，不随机。流量大时先降采样，别一上来 100% 全拦。

六、其他配套件

• 7 个框架映射：OWASP Top 10 for LLM（2025）、OWASP Top 10 for Agentic（2026）、NIST AI RMF、MITRE ATLAS、AEGIS、BeaverTails、EU AI Act。测试结果能直接对应到这些框架的条目，写合规报告省一道翻译。
• CodeScanner：静态扫代码找漏洞，通过 Claude / Codex / Cursor 三种 harness 驱动（openai-codex、claude-agent-sdk 是可选依赖）。
• 自动上传：_upload_to_confident=True 是默认值——登录了 Confident AI 的话，结果会自动上传并帮你打开浏览器看报告。想留本地记得关。

七、怎么用 + 用之前要知道

最小起步是一段 YAML：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

models:
  simulator: gpt-3.5-turbo-0125
  evaluation: gpt-4o
target:
  purpose: "A helpful AI assistant"
  model:
    provider: custom
    file: "tests/test_callback.py"
    class: "CustomFireworksLLM"
system_config:
  max_concurrent: 10
  attacks_per_vulnerability_type: 3
  run_async: true
  ignore_errors: false
default_vulnerabilities:
  - name: "Bias"
    types: ["race", "gender"]

用之前要知道：

• 成本是三层 LLM：攻击生成 + 三阶段精化 + 裁判判定，全在烧 token。先小范围跑，摸清单条成本再放大。
• 护栏是第四层 LLM：每条被拦的请求多一次 gpt-4.1 往返，延迟和费用都要算进生产预算。sample_rate 降采样能省钱，但等于自愿漏检一部分流量。
• 护栏会误杀：fail-closed 意味着守卫报 borderline/uncertain 也拦，合法请求可能被挡。上线前拿真实流量测一遍误杀率。
• 裁判也是 LLM，会误判。ignore_errors 默认 True，出错的用例被放进单独的 bucket，通过率 = 通过 ÷（通过 + 失败），不含出错桶——分母缩水了报告里要留意。
• 拒答启发式只认英文（发现一），中文系统的通过率可能虚高，中文拒答可能被误判成中招。
• CVSS 的 impact 是常数（发现三），分数不能当真实风险等级引用。
• 依赖 API key：simulator、evaluation、guardrail 三个角色都要各自的模型访问。