模型服务化与推理优化（vLLM 等）

课程目标

1. 读懂指标：TTFT、TPS/token/s、P95/P99、GPU 利用率、队列深度。
2. 能部署：用 vLLM 或同类框架拉起可压测的推理服务（本地或单机 GPU）。
3. 能优化：批处理、量化、KV cache、并发限制；改动前后有数据。

指标小抄

10 天学习路径

Day1：指标体系

• 任务：定义你业务关心的 SLO（如 P95 TTFT 低于 800ms）。
• 验收：区分「交互式」与「离线批处理」指标。

Day2：选型

• 任务：对比 vLLM、TGI、TensorRT-LLM（读文档层即可）；记适用边界。
• 验收：一页选型笔记。

Day3：最小服务

• 任务：拉起一个开源小模型服务（按你机器资源调整）。
• 验收：健康检查端点、日志可读。

Day4：压测脚本

• 任务：固定 prompt 集；测并发 1/5/20 的 TTFT 与总时长。
• 验收：inference-benchmark.md 初稿。

Day5：批处理与队列

• 任务：观察连续批处理开启与否的差异（若框架支持开关）。
• 验收：解释排队延迟与吞吐的权衡。

Day6：KV cache 与上下文长度

• 任务：测长上下文（在机器允许范围内）对显存与延迟的影响。
• 验收：能讲 KV cache 复用概念。

Day7：量化

• 任务：阅读 INT8/INT4 方案；记录质量回归测试思路。
• 验收：「何时敢上量化」的清单。

Day8：多模型路由

• 任务：主模型挂掉或超 SLO 时切备用；路由表。
• 验收：与 model-calling-and-prompt-engineering 联动讲述。

Day9：可观测与告警

• 任务：Prometheus 指标或日志结构化；定义 3 条告警规则（队列、错误率、延迟）。
• 验收：告警 Runbook：谁看、怎么处理。

Day10：面试

• 任务：讲一次「优化前后」故事，数字对齐 benchmark 文档。

常见陷阱

• 压测 prompt 过短，看不到真实预填充压力。
• 无限并发把 GPU 打挂，没有 server-side 限流。
• 量化后不回归业务集，线上翻车。

实操验收

• inference-benchmark.md：至少 3 组并发对比
• 服务部署与压测命令记录（可 redact 敏感路径）

最新资料（2026-05 校验）

• vLLM 文档
• Hugging Face Text Generation Inference
• NVIDIA TensorRT-LLM