将 OWASP GenAI 项目组维护的《大型语言模型应用 Top 10》公开分类（社区页面当前称为 v1.1，自 LLM01 提示注入延伸至 LLM10 模型窃取）转写为可逐项打勾的工程设计清单，覆盖 RAG、工具调用链、插件宿主、持续学习与托管推理等架构。每个风险域的叙述与缓解方向与 genai.owasp.org／项目维基对「提示操控、未验证输出、语料或训练投毒、滥用算力型 DoS、依赖与模型供应链、敏感信息回声、特权工具设计、代理自主性失控、对模型结论的过度信赖、专有模型与权重被外部复制」等条目描述保持一致，并强调将策略控制、观测与安全左移结合，而非仅依赖单次渗透测试结论。
使用场景
- 准备上线可写外部系统（工单、支付、云资源）的 Agent 前做联席安全评审
- 比较不同 LLM/SaaS 供应商在日志留存、密钥隔离与出口控制上的差距
- 设计针对多模态与 MCP 数据面的红队剧本
- 向法务／监管提交残余风险条目时需要引用公认的公共taxonomy
- 发生误触发工具或非预期外传后的整改优先级工作坊
主要功能
- LLM01 提示注入：列出全部不可信提示成分（检索片段、用户附件、远端 MCP），对写操作施加二次人或策略守门
- LLM02 不安全输出处置：禁止未经验证的 JSON/Markdown 直接串联 shell／SQL／管理面 API
- LLM03 训练／检索语料投毒：为 fine-tune 与持续更新维护数据来源清单、哈希与漂移监测
- LLM04 模型拒绝服务：设置并发与令牌熔断、告警环路式调用，必要时隔离租户级推理配额
- LLM05 供应链脆弱性：固定模型与 SDK 版本、引入 SBOM 与 CI 门禁阻断影子升级
- LLM06 敏感信息披露：清点密钥与个人标识在日志／向量缓存中的滞留策略并默认最小留存
- LLM07 不安全插件设计：逐项实现服务端输入校验并收缩网络可达域
- LLM08 过度代理权限：高影响链路保留审批、超时撤销与全域 kill-switch
- LLM09 过度信赖：在受监管语境下并排运行计算器、策略引擎或可重复测试守门
- LLM10 模型窃取：用计量与大流量异常检测守卫权重下载与快照接口
相关推荐
相关推荐
3 收录条目
负责任 AI 无障碍数据审查
将 Microsoft Learn 负责任 AI 与无障碍修复整理为清单：核查生成式输出（图像/代码/UI）对视障等群体的刻板描绘、审计 dataset metadata、记录人在回路修复，并对齐人对 AI 结果负责的原则。
AI 生成代码的安全审查
审查 AI 生成的代码是否存在注入风险、凭证泄露、依赖漏洞和访问控制缺陷——捕捉智能体在优化功能而非安全性时容易遗漏的问题。
多区域 LLM 提供商就绪度核查
将出口管制与多厂商路由整理为规划清单：记录主/备路（含 Helicone、LiteLLM Router）、量化区域封锁敞口，并在管理层对某市场「零预期」时与财务口径一致；含法务会签、故障演练与上线前证据。