构建评测套件:带基准答案的自动化评分与回归检测,让团队在模型或提示词变更上线前就知道效果有没有提升,而不是靠感觉。
使用场景
- 模型对比
- 提示词 A/B 测试
- 回归检测
主要功能
- 定义任务级指标
- 整理评测数据集
- 在 CI 里跑自动化评分
相关推荐
相关推荐
3 收录条目
OpenAI GPT-5.6 与 ChatGPT Work 尽职核查
将 Yahoo Tech(Axios)2026 年 7 月 9 日关于 OpenAI 广泛发布 GPT-5.6 并推出 ChatGPT Work 的报道,转为发布、安全与企业支出核查清单。区分已核实事实:三款 GPT-5.6(Sol/Luna/Terra);Sol ultra 模式;Altman 称 agentic coding token 效率提升 54%;ChatGPT Work 跨应用创建文档/表格/演示,Mac/Windows 全 tier 先行、web 后续;政府要求延迟后广泛发布;Altman collaborative back and forth 与许多改动。与 anthropic-fable-mythos-export-ban-lifted-due-diligence 区分。
Samsung ChatGPT Enterprise 与 Codex 部署尽职核查
将 AI News 2026 年 6 月 24 日关于 Samsung Electronics 扩大员工 ChatGPT Enterprise 与 Codex 访问的报道,转为安全、采购与劳动力治理核查清单。工作流区分已核实事实——OpenAI 称覆盖韩国全部 Samsung Electronics 员工及全球 Device eXperience 员工;Samsung 计划在软件开发、营销、产品开发、制造等职能用于检索、起草、创意、数据解读与代码;2023 年因敏感内部信息上传外部 AI 而限制,现改用含数据保护、用户访问与安全管理的 ChatGPT Enterprise;Codex 支持代码编写/审查/调试及内部工具、网站、原型与自动化工作流;OpenAI 称 Codex 每周用户超 500 万、韩国 Codex WAU 自 2026 年 2 月 1 日起近增 800%;OpenAI Korea GM Harrison Kim 称系 OpenAI 最大企业部署之一;2025 年 10 月 Stargate 内存合作与 Samsung SDS 经销/咨询关联单独引用——与内部 rollout 决策分离。AI News 亦引 Deloitte 企业 AI 采纳调查中 66% 生产力提升与 53% 决策洞察改善。
事故复盘触发与根因分布(附录 C)
依据 Google SRE Workbook「附录 C - Results of Postmortem Analysis」,说明为何需在组织内统一事故的「触发维度」与「根因类目」两组标签:附录基于大量历史复盘样本列出常见 outage 触发因素占比——如二进制推送约 37%、配置推送约 31%,以及用户行为、管线、提供商变更、性能衰退、容量、硬件等分项;并就根因给出软件缺陷约 41.35%、研发流程失效约 20.23%、复杂系统行为约 16.90%、部署计划约 6.74%、网络故障约 2.75%等分布(均为附录所述统计区间内的汇总)。落地时应沿用其分类颗粒度并结合自身事故库重算权重,而非照搬数字。