Alinea la taxonomía oficial OWASP Top 10 for Large Language Model Applications (v1.1), de LLM01 Prompt Injection hasta LLM10 Model Theft, con un checklist ejecutable para arquitectos que revisan RAG, agentes, complementos y pipelines citando genai.owasp.org. Cada entrada resume el riesgo descrito públicamente por OWASP—incluyendo manipulación de prompts, manejo inseguro de salidas, envenenamiento del entrenamiento, abuso de cómpute, cadena suministro, filtraciones sensibles, plugins con privilegio excesivo, agencias no acotadas, dependencia irracional frente al modelo y robo del weights—emparejándola controles concretos de políticas, supervisión y hardening toolchain.
Casos de uso
- Revisiones de arquitectura antes de lanzar agentes con permisos de escritura en tickets SAP/Jira
- Due diligence de proveedores de LLM para comparar registro/log de secretos vs filtraciones
- Ejercicios rojo equipo sobre MCP o ingestión multimodal
- Traducciones de riesgos para compliance
- Remediaciones post incidente comando erróneo
Funciones principales
- LLM01—Inventarie fuentes no confiables y limita escalación de privilegio con validaciones secundarias
- LLM02—Valide cada salida estructuralmente antes de tocar sistemas externos
- LLM03—Controle lineage y drift del dataset antes de continual learning
- LLM04—Imponga quotas y watchers anti abuso cómpute
- LLM05—Fije versiones/SDK y auditoría upstream
- LLM06—Clasifique secretos/PII y borrado/logs
- LLM07—Diseño plugin con permisos mínimos server-side
- LLM08—Human-in-the-loop, reversibilidad y kill switch
- LLM09—Verificadores deterministas paralelos para decisiones reguladas
- LLM10—Monitorea descarga masiva, empaquetado seguro del modelo
Relacionados
Relacionados
3 Entradas indexadas
Responsible AI accessibility data review
Convierte módulos de IA responsable de Microsoft Learn y patrones de remediación de accesibilidad en una lista para funciones generativas (imágenes, código, UI). Verifica brechas de datos (p. ej. estereotipos sobre personas ciegas), audita metadatos de datasets inclusivos, documenta correcciones con humanos en el bucle y alinea con el principio de que las personas siguen siendo responsables de los resultados de la IA.
Security review for AI-generated code
Revisa código generado por IA por modos de fallo de seguridad que asistentes de IA comúnmente pasan por alto: riesgos de prompt injection, exposición de credenciales, vulnerabilidades de dependencias, deserialización insegura y gaps de control de acceso. Esta habilidad detecta lo que los agentes pierden cuando optimizan por funcionalidad sobre seguridad, especialmente en código que maneja input de usuario, autenticación o datos externos.
Multi-region LLM provider readiness review
Convierte guías de control de exportación y enrutamiento multi-proveedor en una lista de planificación cuando un solo país o proveedor de chips no puede asumirse disponible. Se documentan rutas primarias y de contingencia (p. ej. Helicone o LiteLLM Router), se cuantifica exposición de ingresos/latencia si una región queda bloqueada y se alinea mensaje a inversores cuando el liderazgo pide «no esperar nada» de un mercado—como en reportajes sobre licencias de chips en China. Incluye sign-off legal, simulacros de failover y evidencia antes de lanzamientos sensibles geopolíticamente.