AI 评测体系：从准确率到用户满意度

“这个模型好像变聪明了"“感觉回答质量下降了”——感觉是 AI 工程最大的敌人。模型、Prompt、参数每次改动都要有数据说话。AI 评测体系分三层：离线（评测集）→ 在线（A/B）→ 业务（最终效果）。

一、评测为什么难

传 A 统 I 软 输 " 错 件 应 出 好 误 ： 用 是 " 形 输 ： 概 没 态 入 率 有 多 性 客 （ → 的 观 幻 （ 标 觉 输 同 准 、 出 一 （ 漏 问 回 答 → 题 答 、 两 风 答 断 次 格 非 言 回 、 所 （ 答 信 问 确 不 息 、 定 一 准 格 性 样 确 式 的 ） 性 错 ， 、 ） 好 用 测 户 ） 偏 好 ）

AI 评测的本质：把"主观质量"变成"可量化指标”，把"概率性输出"变成"统计性结论"。

二、第一层：离线评测（回归防线）

评测集建设

数 结 量 构 ： ： 标 开 陷 边 1 准 放 阱 界 0 题 题 题 题 0 ： ： ： ： - 有 有 故 模 5 确 评 意 糊 0 定 分 诱 输 0 答 维 导 入 案 度 （ （ 条 （ （ 幻 空 （ 知 写 觉 输 够 识 作 检 入 统 问 / 测 、 计 答 分 、 超 意 ） 析 越 长 义 ） 权 、 即 检 多 可 测 语 ， ） 言 别 ） 贪 多 ）

指标设计

指标 怎么算 测什么
准确率 标准题答对比例 知识正确性
幻觉率 陷阱题出现编造的比例 事实性
格式合规率 输出结构符合要求的比例 工程可控性
拒答准确率 该拒答的答拒（不该答的没乱答） 边界意识
LLM 评分 强模型按维度打分（相关性/完整性） 开放质量

每次改动必跑

改 换 改 评 模 分 P 型 R 下 r A 降 o → G m → p 跑 配 t 评 置 回 测 滚 → 集 → 跑 → 跑 评 评 测 对 测 集 比 集 基 → 线 → 对 对 比 比 基 基 线 线

离线评测是"回归测试"——它不能告诉你"变好了多少"，但能告诉你"有没有变坏"。

三、第二层：在线评测（A/B 实验）

离线评测的盲区：评测集是造出来的，线上问题才是真的。

分 采 对 结 流 集 比 论 ： ： ： ： 1 用 实 显 0 户 验 著 % 反 组 提 馈 升 流 、 v 量 行 s → 走 为 新 数 基 全 版 据 线 量 本 （ 的 ； ， 点 关 无 9 没 键 差 0 点 指 异 % 展 标 / 开 下 走 、 降 旧 有 版 没 → 本 有 追 回 问 滚 ）

埋点设计

✅ ✅ ✅ ✅ ✅ 回 任 追 放 二 答 务 问 弃 次 质 完 率 率 求 量 成 （ （ 助 评 率 回 用 率 分 （ 答 户 （ （ 面 没 中 回 用 试 解 途 答 户 完 决 退 不 点 整 出 满 赞 走 → ） 意 / 完 点 的 用 → 踩 比 户 ） 例 追 找 ） 问 人 ） 工 ）

经典指标组合：点赞率（正反馈）+ 追问率（负反馈）+ 任务完成率（业务结果）。

四、第三层：业务指标（最终答案）

AI 的优化最终要落到业务：

商 内 业 部 付 复 客 提 质 A 费 购 服 A 效 量 I 转 率 成 I 幅 事 化 本 ： 度 故 面 率 / （ （ 率 试 （ A 任 （ ： A 留 I 务 A I 存 耗 I 替 时 面 代 下 输 试 了 降 出 多 导 → 少 % 致 人 ） 的 会 工 错 员 ） 误 购 ） 买 ）

业务指标是 CEO 关心的，离线指标是工程师关心的——两层要能对得上：离线准确率提升 5% → 线上任务完成率提升几个点 → 业务指标变化多少。对不上，说明评测集和真实场景脱节了。

五、评估的评估：LLM-as-Judge

用强模型评弱模型是 2024 年后的主流做法，但有坑：

✅ ✅ ❌ ❌ 做 法 强 可 有 会 ： 用 定 模 规 偏 漏 多 期 型 模 置 ： 模 用 评 化 ： 对 型 人 分 （ 偏 细 投 工 和 人 好 微 票 标 人 工 更 错 （ 注 工 只 长 误 2 校 评 能 回 不 - 准 分 抽 答 敏 3 （ 相 、 感 抽 关 5 偏 个 查 性 % 好 模 高 ） 自 型 1 （ 己 评 0 0 的 分 0 . 风 取 8 格 中 条 + 位 对 ） 数 比 ） 相 关 性 ）

六、落地路线图

第 第 第 第 第 1 2 3 4 5 步 步 步 步 步 ： ： ： ： ： 建 定 接 建 对 评 离 埋 齐 测 线 点 A 业 集 指 务 （ 标 B 指 1 标 0 + 在 流 （ 0 线 程 证 自 看 （ 明 条 动 板 改 ： 化 （ 版 A 标 脚 点 必 I 准 本 赞 实 / （ / 验 优 开 C 追 ） 化 放 I 问 的 / / 商 陷 里 完 业 阱 跑 成 价 / ） 率 值 边 ） ） 界 ）

七、踩坑记录

  1. 评测集被污染：拿线上问题当评测集，改版就是为了刷它 → 评测集固定版本，定期人工重审
  2. 只看准确率：准确率涨了，格式乱了（幻觉率没看）→ 多指标一起看，别单指标优化
  3. A/B 样本不足：1% 流量跑 1 小时就下结论 → 最小样本量估算（差异小需要更多样本）
  4. 离线在线脱节：离线涨、线上没变 → 检查评测集是否代表真实分布（线上问题采样入集）

总结

AI 评测体系的核心认知：

  1. 三层闭环：离线（回归防线）→ 在线（A/B 验证）→ 业务（最终价值）
  2. 评测集是基础设施：标准/开放/陷阱/边界四类，固定版本
  3. 多指标看齐：准确率 + 幻觉率 + 格式 + 业务指标，别单指标优化
  4. LLM 评分是杠杆：规模化评估，但要用人工校准

没有评测的 AI 优化是赌博。 有了三层体系，每次"感觉变好了"都能变成"数据证实了"。