🟢 入门题
E1. 为什么不要只凭感觉改 prompt?
参考答案
没有固定样本和指标,就无法判断改动是变好、变差还是只对单个例子有效。prompt 优化必须配评测集。
E2. system 和 user 分别放什么?
参考答案
system 放稳定角色、边界、输出约束;user 放本次输入和变量。稳定前缀也更利于缓存。
E3. JSON 解析失败时怎么处理?
参考答案
记录错误类型;可以带原输出做一次修复重试;仍失败则返回可控错误或规则兜底。不要把坏 JSON 直接传给下游。
🟡 进阶题
A1. 设计一个模型路由表
至少包含:任务类型、风险等级、主模型、降级模型、触发条件、观测字段。
A2. 如何做 prompt 版本管理?
参考答案
prompt 文件进 Git;版本号与 changelog 对齐;每次变更记录假设、样本集、指标、回滚方式。
A3. 成本超预算如何降级?
参考答案
先限制并发和 max tokens;低风险任务切小模型;重复问题走缓存;超过租户预算时返回排队或摘要版结果。
🔴 深度题
D1. 一次模型输出错误,你如何归因?
看输入是否歧义、schema 是否清晰、prompt 示例是否冲突、上下文是否污染、模型是否能力不足、解析器是否过严。
D2. 什么情况下不该用最强模型?
低风险分类、固定格式抽取、可缓存 FAQ、后台批处理、成本敏感的大批量任务都不应默认最强模型。