AI 应用可观测：LLM 调用的追踪与评估

传统可观测管的是"系统没挂"，AI 应用要管的更多：“回答变差了” 这种问题，日志里根本没有——它不是报错，是质量退化。LLM 应用的可观测是三层：追踪（调用链）→ 成本（token 审计）→ 质量（回答评估）。

一、先看传统监控为什么不够

传 A 统 I ： 回 t P 请 应 答 o r 求 用 变 k o ： 差 e m 5 了 n p 0 （ t 0 幻 成 觉 本 改 / 变 失 了 多 控 ， 延 ） 效 迟 → → 果 变 2 没 没 差 s 有 有 报 " → / 错 错 ， 误 没 内 日 " 有 存 志 ， " 涨 看 只 故 起 有 障 → 来 账 " 一 单 ， 都 切 变 只 能 正 贵 有 用 常 用 日 ❌ 户 志 ❌ 反 和 馈 指 标 ❌ 抓 到

AI 可观测的核心：把"LLM 的每一次调用"变成可回放、可评估、可对比的数据。

二、第一层：追踪（Trace）

记录什么

每个 LLM 调用记录完整链路：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

{
  "trace_id": "abc123",
  "timestamp": "...",
  "agent": "interviewer",
  "model": "gpt-4o",
  "prompt": {            // 完整 Prompt（System + User + 预填）
    "system": "...",
    "user": "...",
    "prefill": "..."
  },
  "response": "...",
  "usage": { "prompt_tokens": 1200, "completion_tokens": 350 },
  "latency_ms": 1800,
  "metadata": { "session_id": "s-001", "user_id": "u-1" }
}

为什么必须存完整 Prompt 和 Response：AI 问题是"改了 Prompt 效果变差"，没有历史 Prompt 就没法对比。LLM 调用的日志不是日志，是实验数据。

工具

  • 开源：Langfuse、LangSmith、Phoenix（Arize）
  • 自建：Prometheus + 自定义维度（轻量）
  • 我们的做法：记录进 ClickHouse（检索快），核心调用全量存

三、第二层：成本审计

token 是钱，要有账本

每 按 日 用 成 户 本 / 按 = 功 能 Σ / ( 按 模 型 A 单 g 价 e n × t t 分 o 账 k e n 数 )

关键指标：

指标 含义 异常信号
单次调用成本 每请求 token 花费 突然翻倍 = Prompt 膨胀
token/回答比 输入 vs 输出 输入暴涨 = 上下文泄漏
重试率 调用失败的占比 模型侧/网络问题
缓存命中率 Prompt 缓存的占比 命中低 = 浪费

最值得盯的：单用户会话成本——一个用户聊 50 轮，上下文越滚越长，每轮 token 都在涨，最后的对话可能比前面全部还贵。会话成本失控是 AI 应用亏损的头号原因。

四、第三层：质量评估（最难的）

自动评估

1 2 3 . . . 规 L 业 则 L 务 评 M 断 估 - 言 ： a ： 输 s A 出 - I 格 J 式 u 面 对 d 试 、 g 越 必 e 级 含 ： 率 字 用 （ 段 强 解 、 模 析 引 型 用 给 [ 齐 回 S 全 答 T 打 A 分 T （ E 相 ] 关 性 标 / 记 准 ） 确 、 性 R / A 语 G 气 ） 引 用 命 中 率

人工标注

抽 取 5 % 调 用 → 人 工 标 注 （ 好 不 好 、 错 在 哪 ） → 训 练 评 估 模 型

线上指标

用 户 反 馈 率 、 投 诉 率 、 任 务 完 成 率 （ 面 试 完 整 走 完 的 比 例 ）

三层结合：规则兜底（格式）、LLM 评分（质量）、人工校准（趋势）、业务指标（最终效果）。

五、A/B：可观测的终极形态

AI 应用的优化全靠 A/B——改 Prompt、换模型、调参数，都要有数据对比：

基 评 跑 线 估 组 指 1 （ 标 - 旧 ： 2 幻 P 觉 天 r 率 o → m / p 数 t 越 据 ） 级 说 率 话 v s / → 实 用 全 验 户 量 组 满 （ 意 o 新 度 r P / 回 r 滚 o 成 m 本 p t ）

前提：第一层的 Trace 要带版本号（Prompt 版本、模型版本）——没有版本的可观测，A/B 无从谈起。

六、落地清单

✅ ✅ ✅ ✅ ✅ ✅ 全 成 会 自 版 告 量 本 话 动 本 警 分 成 评 管 ： T 账 本 估 理 成 r ： 监 ： ： 本 a 按 控 规 P 突 c 用 ： 则 r 增 e 户 超 o ： / 阈 + m / P 功 值 p r 能 告 L t 质 o / 警 L / 量 m A （ M 模 分 p g 上 - 型 下 t e 下 a 版 滑 / n 文 s 本 R t 膨 - 进 / e ， 胀 J s 每 预 u T 重 p 日 警 d r 试 o 看 ） g a 率 n 板 e c 升 s e 高 e + ， / 支 u 业 持 s 务 a 断 A g 言 / e B / 版 本 号 （ 存 起 来 ， 是 实 验 数 据 ）

总结

AI 应用可观测的核心认知：

  1. 传统监控管"挂没挂"，AI 可观测管"好不好、贵不贵"
  2. Trace 是实验数据：存完整 Prompt/Response/版本，才有对比和 A/B
  3. 成本是第二战场：token 是钱，会话成本失控是隐形亏损
  4. 质量评估是闭环：规则 + LLM 评分 + 业务指标三层

AI 应用不可观测 = 在黑暗里调参。有了追踪、成本、评估三层，每次优化都是"数据说话"，不是"感觉对了"。