AI 后端系统设计与分布式

课程目标

1. 能设计长任务异步系统（提交、排队、执行、查询、通知）。
2. 能设计限流、熔断、降级在模型调用场景下的落地。
3. 能讲MySQL 真相层 + Redis 加速层的一致性与回滚叙事。
4. 白板能画出数据流，并能标出故障点与观测点。

核心场景清单

12 天学习路径

Day1：需求拆解模板

• 任务：选一个真实业务（客服助手 / 文档问答），写：SLA、峰值 QPS、最大延迟、成本上限。
• 验收：列出同步接口 vs 异步接口的边界。

Day2：API 层

• 任务：设计 REST：创建任务、查询任务、取消任务；错误码规范。
• 验收：说明为何“创建任务”要快返回（例如 P95 低于 200ms，目标可自定）。

Day3~4：任务状态机

• 任务：绘制状态：pending → running → succeeded | failed | cancelled | stale
• 验收：每个状态迁移由谁触发（API / worker / 定时巡检）。

Day5：幂等与去重

• 任务：idempotency-key 头或 body 字段；冲突时返回同一 task_id。
• 验收：数据库唯一索引或 Redis SETNX 方案二选一写清。

Day6：限流

• 任务：多维度：用户、租户、IP、API Key；说明令牌桶 vs 漏桶选型。
• 验收：被限流时的响应体与 Retry-After。

Day7：熔断与降级

• 任务：模型供应商连续错误率超阈值 → 切备用模型或返回友好错误。
• 验收：熔断恢复：半开探测策略。

Day8：一致性叙事

• 任务：写一页说明：何处强一致、何处最终一致；如何对账。
• 验收：能举例“消息已消费但写库失败”怎么办。

Day9：观测与排障

• 任务：定义黄金指标：请求量、错误率、P95、队列深度、GPU/CPU。
• 验收：给定 trace_id 的排查顺序。

Day10：容量粗算

• 任务：估算：每条任务平均 token、QPS、worker 数、DB 连接池。
• 验收：数量级正确即可，重在方法。

Day11：白板演练

• 任务：计时 25 分钟画全套架构；录音自查表达。
• 验收：能在 5 分钟内压缩讲解。

Day12：面试真题模拟

• 任务：准备 3 道系统设计题逐字稿（可来自面经 + 自己改编）。
• 验收：每题有“取舍理由”。

必备设计清单（背诵级）

• 任务字段：task_id, status, progress, retry_count, error_code, trace_id, cost
• 幂等键：user_id + request_hash 或客户端 Idempotency-Key
• 限流维度：user / tenant / ip / api_key
• 失败：重试、DLQ、人工、补偿

常见陷阱

• 把 worker 当无状态，却依赖内存去重。
• 无 stale 检测，任务永远卡在 running。
• 流式接口无总超时，连接泄漏。

实操验收

• 架构图 + 状态机 + 错误码表
• 一次“限流 + 降级”文字演练
• system-design-ai-notes.md

最新资料（2026-05 校验）

• AWS Well-Architected（可靠性支柱）
• Google SRE：负载均衡与过载
• Martin Kleppmann：数据密集型应用设计（书） — 概念参考