构建评测套件：带基准答案的自动化评分与回归检测，让团队在模型或提示词变更上线前就知道效果有没有提升，而不是靠感觉。
使用场景
- 模型对比
- 提示词 A/B 测试
- 回归检测
主要功能
- 定义任务级指标
- 整理评测数据集
- 在 CI 里跑自动化评分
相关推荐
相关推荐
3 收录条目
事故复盘触发与根因分布（附录 C）
依据 Google SRE Workbook「附录 C - Results of Postmortem Analysis」，说明为何需在组织内统一事故的「触发维度」与「根因类目」两组标签：附录基于大量历史复盘样本列出常见 outage 触发因素占比——如二进制推送约 37%、配置推送约 31%，以及用户行为、管线、提供商变更、性能衰退、容量、硬件等分项；并就根因给出软件缺陷约 41.35%、研发流程失效约 20.23%、复杂系统行为约 16.90%、部署计划约 6.74%、网络故障约 2.75%等分布（均为附录所述统计区间内的汇总）。落地时应沿用其分类颗粒度并结合自身事故库重算权重，而非照搬数字。
AI 成本优化
审计 Token 用量、模型选择、缓存策略与提示压缩，让团队在大规模 AI 功能下不失控——对高流量 Agent 流水线尤其关键。
生产故障应急响应
从检测到解决的生产故障处理结构化流程——涵盖严重性评估、团队协调、沟通模板和事后分析要求。