Skill Entry

评测与基准

构建评测套件:带基准答案的自动化评分与回归检测,让团队在模型或提示词变更上线前就知道效果有没有提升,而不是靠感觉。

分类 运营
平台 Codex / Claude Code
发布时间 2026-04-20
evaluationtestingquality

使用场景

  • 模型对比
  • 提示词 A/B 测试
  • 回归检测

主要功能

  • 定义任务级指标
  • 整理评测数据集
  • 在 CI 里跑自动化评分

相关推荐

相关推荐

3 收录条目

OpenAI GPT-5.6 与 ChatGPT Work 尽职核查

运营

将 Yahoo Tech(Axios)2026 年 7 月 9 日关于 OpenAI 广泛发布 GPT-5.6 并推出 ChatGPT Work 的报道,转为发布、安全与企业支出核查清单。区分已核实事实:三款 GPT-5.6(Sol/Luna/Terra);Sol ultra 模式;Altman 称 agentic coding token 效率提升 54%;ChatGPT Work 跨应用创建文档/表格/演示,Mac/Windows 全 tier 先行、web 后续;政府要求延迟后广泛发布;Altman collaborative back and forth 与许多改动。与 anthropic-fable-mythos-export-ban-lifted-due-diligence 区分。

Samsung ChatGPT Enterprise 与 Codex 部署尽职核查

运营

将 AI News 2026 年 6 月 24 日关于 Samsung Electronics 扩大员工 ChatGPT Enterprise 与 Codex 访问的报道,转为安全、采购与劳动力治理核查清单。工作流区分已核实事实——OpenAI 称覆盖韩国全部 Samsung Electronics 员工及全球 Device eXperience 员工;Samsung 计划在软件开发、营销、产品开发、制造等职能用于检索、起草、创意、数据解读与代码;2023 年因敏感内部信息上传外部 AI 而限制,现改用含数据保护、用户访问与安全管理的 ChatGPT Enterprise;Codex 支持代码编写/审查/调试及内部工具、网站、原型与自动化工作流;OpenAI 称 Codex 每周用户超 500 万、韩国 Codex WAU 自 2026 年 2 月 1 日起近增 800%;OpenAI Korea GM Harrison Kim 称系 OpenAI 最大企业部署之一;2025 年 10 月 Stargate 内存合作与 Samsung SDS 经销/咨询关联单独引用——与内部 rollout 决策分离。AI News 亦引 Deloitte 企业 AI 采纳调查中 66% 生产力提升与 53% 决策洞察改善。

事故复盘触发与根因分布(附录 C)

运营

依据 Google SRE Workbook「附录 C - Results of Postmortem Analysis」,说明为何需在组织内统一事故的「触发维度」与「根因类目」两组标签:附录基于大量历史复盘样本列出常见 outage 触发因素占比——如二进制推送约 37%、配置推送约 31%,以及用户行为、管线、提供商变更、性能衰退、容量、硬件等分项;并就根因给出软件缺陷约 41.35%、研发流程失效约 20.23%、复杂系统行为约 16.90%、部署计划约 6.74%、网络故障约 2.75%等分布(均为附录所述统计区间内的汇总)。落地时应沿用其分类颗粒度并结合自身事故库重算权重,而非照搬数字。