LLMOps：可观测与评测体系

为什么是核心能力

没有评测与观测，优化是玄学；面试中最值钱的是你能拿出“变好/变坏”的证据链。
本课搭一套最小可落地 LLMOps：从第一次请求到持续迭代。

课程目标

Trace：请求 → 检索 → 工具 → 生成全链路可还原。
指标：成功率、P95、Token、成本、工具命中率、空引用率。
数据集：20~200 条可回归的“黄金问题集”。
实验：改动前后 A/B，坏例分类与复盘模板。

认知地图

组件	解决什么问题	最小实现
Trace	哪一步慢、哪一步错	OpenTelemetry span 或 LangSmith run
Metrics	趋势、告警	Prometheus 计数 + Grafana
Eval set	防回归	版本化 JSON/CSV + 标签
Human review	主观质量	抽检表 + rubric

10 天学习路径

Day1：定义“好”的标准

任务：与业务对齐：正确性、完整性、安全、风格、引用准确性（RAG）各选 1 个可量化 proxy。
验收：一页 quality-rubric.md。

Day2：Trace 字段规范

任务：定义必填：trace_id, span_name, latency_ms, model, tokens, retrieval_hits, tool_calls, error_type。
验收：任意一次失败能定位到“检索/工具/模型/后处理”之一。

Day3：接入 LangSmith（或等价）

任务：给一条链打开 tracing；在 UI 里找到最慢 span。
验收：截图或笔记说明瓶颈。

Day4：OpenTelemetry 概念

任务：理解 trace / span / baggage；思考与现有 FastAPI 中间件的结合点。
验收：能画请求在服务间的传播。

Day5：指标仪表板

任务：至少 4 个面板：QPS、P95、错误率、每请求 Token。
验收：说明每个指标异常时的可能原因。

Day6：评测集构建

任务：收集 30 条真实用户问题（脱敏）；标注期望行为或参考答案要点。
验收：每条有问题类型标签：factual, multi-hop, tool, refusal, edge。

Day7：自动评测（轻量）

任务：用 LLM-as-judge（注意偏差）或规则检查（JSON schema、必须含引用）跑批。
验收：输出 eval-report.md：通过率 + 失败样例 ID。

Day8：A/B 与发布

任务：定义实验：对照组 A vs 新 prompt B；样本量与置信度用文字说明（不必严谨统计，要有意识）。
验收：回滚开关：一键切回 A。

Day9：坏例复盘会模板

任务：分类：检索空、检索噪声、工具参数错、模型胡编、后处理截断。
验收：每类至少 1 条真实或模拟案例。

Day10：面试讲述

任务：8 分钟：一次“上线后成功率提升”的完整故事（可基于实验数据 mock）。
验收：含指标、取舍、下一步。

常见陷阱

只 log 文本，没有结构化字段，无法聚合。
评测集不版本化，无法对比两次实验。
LLM judge 与业务标准不一致，分数虚高。

实操验收

eval-report.md 模板 + 一次真实跑批
bad-case-taxonomy.md
Trace 字段规范文档

深度专题：评测实验室（从“能跑”到“能百次迭代”）

这一节对标 50K+ 岗位：面试官想听的不是“我用了 LangSmith”，而是“你给我一个 Agent，我有标准方法把它迭代到可上线水平”。

1. 数据集三层结构

层	范围	规模	来源
Smoke	每次提交跑	10–30	精选“不能倒的题”
Regression	每日 / 发版	100–300	真实线上脱敏 + 人工标注
Adversarial	每周	60–200	红队 + bad case 归档（和 ai-application-security 联动）

每条带标签：type, difficulty, lang, persona, risk, gold_points[]。
版本化：JSONL + Git；严禁被“隐式修改”（必须 PR 评审）。

2. Grader 五种写法（从强到弱）

硬断言：答案包含 必须要点[] + 正则 / JSON schema 校验。
Embedding 相似度：与金标 embedding 余弦 ≥ 阈值；防颗粒度偏差。
LLM-as-Judge（结构化）：rubric + few-shot + 打分校验（含多次采样除噪）。
互相验证：两个不同家族模型 judge，不一致 → 人工仲裁。
人工抽检：每周 30 条，用来 校准 judge。

# LLM-as-Judge 强验证模版
def llm_judge(q, gold_points, answer):
    prompt = f"""打分规则（给 0/1/2）：
0 = 缺失关键要点或错误
1 = 部分命中
2 = 全部要点命中且无幻觉
问题：{q}
必须要点：{gold_points}
待评回答：{answer}
输出 JSON: {{"score": 0|1|2, "hit": ["要点名"], "miss": [...], "reason": "..."}}"""
    return judge_llm(prompt, temperature=0, seed=42)  # 务必 seed

3. Trace 字段规范（整套写进简历）

trace_id, parent_span, node_name, node_kind (retrieval|tool|llm|post),
start_ts, latency_ms, prompt_hash, response_hash,
model, input_tokens, output_tokens, cached_tokens, cost_usd,
retrieval_hits, rerank_score, tool_name, tool_args_hash,
error_type, risk_flags[], decision

4. Bad Case 分类与归因树

失败
├─ 检索层
│   ├─ 空召回
│   ├─ 召回噪声高
│   └─ 不支持的问题类型
├─ 工具层
│   ├─ 选错工具
│   ├─ 参数填错
│   └─ 工具返回截断
├─ 模型层
│   ├─ 幻觉
│   ├─ 拒答失败
│   └─ 格式违约
└─ 后处理
    ├─ 截断
    └─ 引用丢失

每类必须绑 1 个修复策略 + 1 个回归样本。

5. CI 集成：评测跟着 PR 跑

# .github/workflows/eval.yml
on: [pull_request]
jobs:
  eval:
    steps:
      - run: python eval/run.py --suite smoke --baseline main
      - uses: actions/github-script@v7
        with:
          script: |
            const r = require('./eval/report.json');
            if (r.regressions > 0) core.setFailed(`回归 ${r.regressions} 条`);

6. 线上持续评测

采样：每天随机 1% 真实流量，自动 judge 跑分。
漂移告警：连续 3 天通过率 ↓ 5% 触发 on-call。
节流：只对采样集跑强验证，成本可控。

7. 面试高频追问（深度版）

为什么不能直接用 LLM 打分作为最终指标？ — 家族偏见 + 位置偏见 + 与业务不对齐；必须用人工抽检校准。
小样本下如何判断改动有效？ — 配对检定或 bootstrap 置信；或直接看“相同问题上的 case-level diff”。
A/B 多长可以结束？ — 预先定样本量，别看用户体感。
RAG 中证明是检索差还是模型差？ — 做 oracle 检索（直接给金标文档）对比，差值归因。
评测集起不来怎么办？ — Self-instruct + LLM 扩增 + 人工审校；线上下钻脱敏样本。
cost / 质量如何联合优化？ — Pareto 曲线：打出 (准确率, 每次成本)，选靠左上角的方案。

8. 可交付产物（改版升级）

eval/datasets/*.jsonl（三层集合）
eval/graders/*.py（硬断言 + LLM judge）
eval/report-template.md（baseline / delta / regression）
docs/bad-case-playbook.md
CI workflow

与 rag-engineering、agent-state-persistence-hitl、ai-application-security 互相指引。

为什么是核心能力

没有评测与观测，优化是玄学；面试中最值钱的是你能拿出“变好/变坏”的证据链。
本课搭一套最小可落地 LLMOps：从第一次请求到持续迭代。

课程目标

Trace：请求 → 检索 → 工具 → 生成全链路可还原。
指标：成功率、P95、Token、成本、工具命中率、空引用率。
数据集：20~200 条可回归的“黄金问题集”。
实验：改动前后 A/B，坏例分类与复盘模板。

认知地图

组件	解决什么问题	最小实现
Trace	哪一步慢、哪一步错	OpenTelemetry span 或 LangSmith run
Metrics	趋势、告警	Prometheus 计数 + Grafana
Eval set	防回归	版本化 JSON/CSV + 标签
Human review	主观质量	抽检表 + rubric

10 天学习路径

Day1：定义“好”的标准

任务：与业务对齐：正确性、完整性、安全、风格、引用准确性（RAG）各选 1 个可量化 proxy。
验收：一页 quality-rubric.md。

Day2：Trace 字段规范

任务：定义必填：trace_id, span_name, latency_ms, model, tokens, retrieval_hits, tool_calls, error_type。
验收：任意一次失败能定位到“检索/工具/模型/后处理”之一。

Day3：接入 LangSmith（或等价）

任务：给一条链打开 tracing；在 UI 里找到最慢 span。
验收：截图或笔记说明瓶颈。

Day4：OpenTelemetry 概念

任务：理解 trace / span / baggage；思考与现有 FastAPI 中间件的结合点。
验收：能画请求在服务间的传播。

Day5：指标仪表板

任务：至少 4 个面板：QPS、P95、错误率、每请求 Token。
验收：说明每个指标异常时的可能原因。

Day6：评测集构建

任务：收集 30 条真实用户问题（脱敏）；标注期望行为或参考答案要点。
验收：每条有问题类型标签：factual, multi-hop, tool, refusal, edge。

Day7：自动评测（轻量）

任务：用 LLM-as-judge（注意偏差）或规则检查（JSON schema、必须含引用）跑批。
验收：输出 eval-report.md：通过率 + 失败样例 ID。

Day8：A/B 与发布

任务：定义实验：对照组 A vs 新 prompt B；样本量与置信度用文字说明（不必严谨统计，要有意识）。
验收：回滚开关：一键切回 A。

Day9：坏例复盘会模板

任务：分类：检索空、检索噪声、工具参数错、模型胡编、后处理截断。
验收：每类至少 1 条真实或模拟案例。

Day10：面试讲述

任务：8 分钟：一次“上线后成功率提升”的完整故事（可基于实验数据 mock）。
验收：含指标、取舍、下一步。

常见陷阱

只 log 文本，没有结构化字段，无法聚合。
评测集不版本化，无法对比两次实验。
LLM judge 与业务标准不一致，分数虚高。

实操验收

eval-report.md 模板 + 一次真实跑批
bad-case-taxonomy.md
Trace 字段规范文档

深度专题：评测实验室（从“能跑”到“能百次迭代”）

这一节对标 50K+ 岗位：面试官想听的不是“我用了 LangSmith”，而是“你给我一个 Agent，我有标准方法把它迭代到可上线水平”。

1. 数据集三层结构

层	范围	规模	来源
Smoke	每次提交跑	10–30	精选“不能倒的题”
Regression	每日 / 发版	100–300	真实线上脱敏 + 人工标注
Adversarial	每周	60–200	红队 + bad case 归档（和 ai-application-security 联动）

每条带标签：type, difficulty, lang, persona, risk, gold_points[]。
版本化：JSONL + Git；严禁被“隐式修改”（必须 PR 评审）。

2. Grader 五种写法（从强到弱）

硬断言：答案包含 必须要点[] + 正则 / JSON schema 校验。
Embedding 相似度：与金标 embedding 余弦 ≥ 阈值；防颗粒度偏差。
LLM-as-Judge（结构化）：rubric + few-shot + 打分校验（含多次采样除噪）。
互相验证：两个不同家族模型 judge，不一致 → 人工仲裁。
人工抽检：每周 30 条，用来 校准 judge。

# LLM-as-Judge 强验证模版
def llm_judge(q, gold_points, answer):
    prompt = f"""打分规则（给 0/1/2）：
0 = 缺失关键要点或错误
1 = 部分命中
2 = 全部要点命中且无幻觉
问题：{q}
必须要点：{gold_points}
待评回答：{answer}
输出 JSON: {{"score": 0|1|2, "hit": ["要点名"], "miss": [...], "reason": "..."}}"""
    return judge_llm(prompt, temperature=0, seed=42)  # 务必 seed

3. Trace 字段规范（整套写进简历）

trace_id, parent_span, node_name, node_kind (retrieval|tool|llm|post),
start_ts, latency_ms, prompt_hash, response_hash,
model, input_tokens, output_tokens, cached_tokens, cost_usd,
retrieval_hits, rerank_score, tool_name, tool_args_hash,
error_type, risk_flags[], decision

4. Bad Case 分类与归因树

失败
├─ 检索层
│   ├─ 空召回
│   ├─ 召回噪声高
│   └─ 不支持的问题类型
├─ 工具层
│   ├─ 选错工具
│   ├─ 参数填错
│   └─ 工具返回截断
├─ 模型层
│   ├─ 幻觉
│   ├─ 拒答失败
│   └─ 格式违约
└─ 后处理
    ├─ 截断
    └─ 引用丢失

每类必须绑 1 个修复策略 + 1 个回归样本。

5. CI 集成：评测跟着 PR 跑

# .github/workflows/eval.yml
on: [pull_request]
jobs:
  eval:
    steps:
      - run: python eval/run.py --suite smoke --baseline main
      - uses: actions/github-script@v7
        with:
          script: |
            const r = require('./eval/report.json');
            if (r.regressions > 0) core.setFailed(`回归 ${r.regressions} 条`);

6. 线上持续评测

采样：每天随机 1% 真实流量，自动 judge 跑分。
漂移告警：连续 3 天通过率 ↓ 5% 触发 on-call。
节流：只对采样集跑强验证，成本可控。

7. 面试高频追问（深度版）

为什么不能直接用 LLM 打分作为最终指标？ — 家族偏见 + 位置偏见 + 与业务不对齐；必须用人工抽检校准。
小样本下如何判断改动有效？ — 配对检定或 bootstrap 置信；或直接看“相同问题上的 case-level diff”。
A/B 多长可以结束？ — 预先定样本量，别看用户体感。
RAG 中证明是检索差还是模型差？ — 做 oracle 检索（直接给金标文档）对比，差值归因。
评测集起不来怎么办？ — Self-instruct + LLM 扩增 + 人工审校；线上下钻脱敏样本。
cost / 质量如何联合优化？ — Pareto 曲线：打出 (准确率, 每次成本)，选靠左上角的方案。

8. 可交付产物（改版升级）

eval/datasets/*.jsonl（三层集合）
eval/graders/*.py（硬断言 + LLM judge）
eval/report-template.md（baseline / delta / regression）
docs/bad-case-playbook.md
CI workflow

与 rag-engineering、agent-state-persistence-hitl、ai-application-security 互相指引。

学完这篇你应该拿到什么

3 个高频追问

1 个证据

沉淀表达

面试时怎么讲

简历一句话

为什么是核心能力

课程目标

认知地图

10 天学习路径

Day1：定义“好”的标准

Day2：Trace 字段规范

Day3：接入 LangSmith（或等价）

Day4：OpenTelemetry 概念

Day5：指标仪表板

Day6：评测集构建

Day7：自动评测（轻量）

Day8：A/B 与发布

Day9：坏例复盘会模板

Day10：面试讲述

推荐工具（按团队规模）

常见陷阱

实操验收

深度专题：评测实验室（从“能跑”到“能百次迭代”）

1. 数据集三层结构

2. Grader 五种写法（从强到弱）

3. Trace 字段规范（整套写进简历）

4. Bad Case 分类与归因树

5. CI 集成：评测跟着 PR 跑

6. 线上持续评测

7. 面试高频追问（深度版）

8. 可交付产物（改版升级）

最新资料（2026-05 校验）

学完这篇你应该拿到什么

3 个高频追问

1 个证据

沉淀表达

面试时怎么讲

简历一句话

为什么是核心能力

课程目标

认知地图

10 天学习路径

Day1：定义“好”的标准

Day2：Trace 字段规范

Day3：接入 LangSmith（或等价）

Day4：OpenTelemetry 概念

Day5：指标仪表板

Day6：评测集构建

Day7：自动评测（轻量）

Day8：A/B 与发布

Day9：坏例复盘会模板

Day10：面试讲述

推荐工具（按团队规模）

常见陷阱

实操验收

深度专题：评测实验室（从“能跑”到“能百次迭代”）

1. 数据集三层结构

2. Grader 五种写法（从强到弱）

3. Trace 字段规范（整套写进简历）

4. Bad Case 分类与归因树

5. CI 集成：评测跟着 PR 跑

6. 线上持续评测

7. 面试高频追问（深度版）

8. 可交付产物（改版升级）

最新资料（2026-05 校验）