依据美国国家标准与技术研究院（NIST）公开发布的《人工智能风险管理框架》AI RMF 1.0（出版物编号 NIST.AI.100-1；DOI https://doi.org/10.6028/NIST.AI.100-1），把四类核心职能——Govern（治理）、Map（情境梳理）、Measure（度量与评估）、Manage（管理与响应）——整理成可被跨职能团队逐项签字的核查表：官方说明该框架定位为自愿采纳，并要求把可信性考量纳入设计、开发、部署与评价流程。配套的 Playbook、路线图及对照索引托管在可信与负责任 AI 资源中心（airc.nist.gov）。面向生成式与基础模型工作负载时，应同步参考《生成式人工智能概要》（NIST AI 600-1；2024-07-26；DOI https://doi.org/10.6028/NIST.AI.600-1）将典型风险与控制建议映射进来。本条为工程化模版，不提供法律／审计定论。
使用场景
- 准备把内部 Proof-of-Concept 推广到对客户或大众开放的产品面
- 投标或伙伴关系条款要求说明「自愿对齐」美国联邦机构公开框架的实践
- 模型团队、法务、信息安全与业务部门需要共用一套英文／中文可追溯术语
- 发生事实错误或安全连锁事件后要向管理层解释残余风险台账
- 并购或外包后仅接管权重文件却欠缺流程记录的补救项目
主要功能
- Govern：把风险偏好写成可追责条款，明确 CIO／数据保护官／产品经理等角色谁在什么时限内裁决升级；记录第三方／云厂商合同中的 AI 相关要求与缺口
- Map：罗列系统边界、数据来源、可被滥用的情境、自动化程度与人类监督接口，并让每条风险都能找到 Map 类别的公开语义锚点，避免泛泛表述
- Measure：选择与风险严重性相称的离线评测、线上监控与人因评估组合，写明指标定义、取样窗口和对失败阈值的处置动作
- Manage：对已识别残余风险分层（预防／侦测／响应／停运），写明触发阈值、资金和人力承诺，以及下一轮复核日期
- 生成式补强：若在系统中叠加基础模型、工具调用链或 MCP，请逐项对照 AI 600-1 建议动作并把「适用／不适用／需定制」一栏写清楚
- 证据归档：导出「职能 × Owner × 佐证链接／版本号 × 完成日期 × 残余不确定度」矩阵，以满足内外部问询与版本回溯
相关推荐
相关推荐
3 收录条目
智能体工作流设计
用明确的输入、输出、备选方案和交接协议来构建多步骤智能体任务，使智能体能可靠地完成复杂工作流，而不会在遇到第一个障碍时就停下。
多智能体交接设计
设计专业智能体之间清晰的交接协议，使工作能够在规划者、编码者、审查者和执行者之间传递而不丢失上下文或产生循环依赖。
OWASP GenAI LLM Top 10（v1.1）风险核查清单
将 OWASP GenAI 项目组维护的《大型语言模型应用 Top 10》公开分类（社区页面当前称为 v1.1，自 LLM01 提示注入延伸至 LLM10 模型窃取）转写为可逐项打勾的工程设计清单，覆盖 RAG、工具调用链、插件宿主、持续学习与托管推理等架构。每个风险域的叙述与缓解方向与 genai.owasp.org／项目维基对「提示操控、未验证输出、语料或训练投毒、滥用算力型 DoS、依赖与模型供应链、敏感信息回声、特权工具设计、代理自主性失控、对模型结论的过度信赖、专有模型与权重被外部复制」等条目描述保持一致，并强调将策略控制、观测与安全左移结合，而非仅依赖单次渗透测试结论。