将 OWASP GenAI 项目组维护的《大型语言模型应用 Top 10》公开分类（社区页面当前称为 v1.1，自 LLM01 提示注入延伸至 LLM10 模型窃取）转写为可逐项打勾的工程设计清单，覆盖 RAG、工具调用链、插件宿主、持续学习与托管推理等架构。每个风险域的叙述与缓解方向与 genai.owasp.org／项目维基对「提示操控、未验证输出、语料或训练投毒、滥用算力型 DoS、依赖与模型供应链、敏感信息回声、特权工具设计、代理自主性失控、对模型结论的过度信赖、专有模型与权重被外部复制」等条目描述保持一致，并强调将策略控制、观测与安全左移结合，而非仅依赖单次渗透测试结论。
使用场景
- 准备上线可写外部系统（工单、支付、云资源）的 Agent 前做联席安全评审
- 比较不同 LLM/SaaS 供应商在日志留存、密钥隔离与出口控制上的差距
- 设计针对多模态与 MCP 数据面的红队剧本
- 向法务／监管提交残余风险条目时需要引用公认的公共taxonomy
- 发生误触发工具或非预期外传后的整改优先级工作坊
主要功能
- LLM01 提示注入：列出全部不可信提示成分（检索片段、用户附件、远端 MCP），对写操作施加二次人或策略守门
- LLM02 不安全输出处置：禁止未经验证的 JSON/Markdown 直接串联 shell／SQL／管理面 API
- LLM03 训练／检索语料投毒：为 fine-tune 与持续更新维护数据来源清单、哈希与漂移监测
- LLM04 模型拒绝服务：设置并发与令牌熔断、告警环路式调用，必要时隔离租户级推理配额
- LLM05 供应链脆弱性：固定模型与 SDK 版本、引入 SBOM 与 CI 门禁阻断影子升级
- LLM06 敏感信息披露：清点密钥与个人标识在日志／向量缓存中的滞留策略并默认最小留存
- LLM07 不安全插件设计：逐项实现服务端输入校验并收缩网络可达域
- LLM08 过度代理权限：高影响链路保留审批、超时撤销与全域 kill-switch
- LLM09 过度信赖：在受监管语境下并排运行计算器、策略引擎或可重复测试守门
- LLM10 模型窃取：用计量与大流量异常检测守卫权重下载与快照接口
相关推荐
相关推荐
3 收录条目
AI 生成代码的安全审查
审查 AI 生成的代码是否存在注入风险、凭证泄露、依赖漏洞和访问控制缺陷——捕捉智能体在优化功能而非安全性时容易遗漏的问题。
使用 LLM 结构化输出做契约设计
先列出业务必须的字段并写成 schema（类型、required、枚举等），按厂商文档开启结构化输出；每次返回在服务端用同一 schema 校验后再进业务逻辑；对拒答或校验失败打日志并迭代提示词或拆分 schema。适用于抽取、向导状态、工具参数序列化等场景。
NIST AI 风险管理框架（AI RMF 1.0）Govern／Map／Measure／Manage 执行清单
依据美国国家标准与技术研究院（NIST）公开发布的《人工智能风险管理框架》AI RMF 1.0（出版物编号 NIST.AI.100-1；DOI https://doi.org/10.6028/NIST.AI.100-1），把四类核心职能——Govern（治理）、Map（情境梳理）、Measure（度量与评估）、Manage（管理与响应）——整理成可被跨职能团队逐项签字的核查表：官方说明该框架定位为自愿采纳，并要求把可信性考量纳入设计、开发、部署与评价流程。配套的 Playbook、路线图及对照索引托管在可信与负责任 AI 资源中心（airc.nist.gov）。面向生成式与基础模型工作负载时，应同步参考《生成式人工智能概要》（NIST AI 600-1；2024-07-26；DOI https://doi.org/10.6028/NIST.AI.600-1）将典型风险与控制建议映射进来。本条为工程化模版，不提供法律／审计定论。