Gateway unificado para 250+ modelos LLM con observabilidad, enrutamiento y guardrails
Portkey documenta en docs.portkey.ai un gateway de IA que unifica acceso a más de 250 modelos mediante SDK Portkey o URL base compatible con OpenAI (`PORTKEY_GATEWAY_URL`) y cabeceras de enrutamiento. Los quickstarts muestran integraciones Python/TypeScript en pocas líneas que monitorizan solicitudes para resiliencia, seguridad y rendimiento. El gateway open source es gratuito autogestionado; el servicio gestionado incluye 10k solicitudes/mes gratis, workers edge con ~20–40 ms de latencia adicional, certificaciones ISO 27001 y SOC 2, y opciones para no almacenar cuerpos de petición/respuesta.
Casos de uso
- Logging y failover en gateway sin reescribir SDKs
- Enrutar tráfico multi-proveedor vía cabeceras
- Revisiones de cumplimiento con certificaciones documentadas
- Prototipar en tier gratis gestionado
- Mantener cliente OpenAI con createHeaders
Funciones principales
- SDK Portkey y patrones gateway OpenAI con cabeceras x-portkey
- Interfaz unificada para 250+ modelos
- Monitorización, caché y enrutamiento según FAQs
- Hosting privado enterprise y modo sin cuerpos
- SSO con OIDC personalizado
Relacionados
Relacionados
3 Entradas indexadas
Helicone
Helicone documenta un AI Gateway en ai-gateway.helicone.ai para invocar más de 100 modelos (OpenAI, Anthropic, Google, Groq, etc.) con URL base compatible con OpenAI y registrar cada petición en el panel. El quickstart oficial indica registro en helicone.ai, claves API en el plano US y clientes OpenAI SDK apuntando al gateway con observabilidad automática. La documentación afirma créditos sin markup frente a tarifas de proveedor, fallbacks automáticos ante caídas y opción de traer claves propias.
OpenRouter
OpenRouter es una pasarela de modelos que expone muchos modelos de IA de terceros mediante una API compatible con OpenAI. Los equipos pueden comparar proveedores, definir reglas de enrutamiento y cambiar de modelo sin reescribir la lógica cliente para cada SDK. El servicio publica precios por modelo y admite uso de pago por consumo.
LiteLLM
LiteLLM es una biblioteca Python open source y stack proxy documentado en docs.litellm.ai que expone una interfaz `completion()` única para proveedores como OpenAI, Anthropic, Vertex AI, Bedrock y Ollama con formas de petición/respuesta compatibles con OpenAI. El proyecto documenta un Router con reintentos, fallback y balanceo, callbacks de observabilidad (Langfuse, MLflow, Helicone y otros en las guías) y un LiteLLM Proxy autogestionado con claves virtuales, seguimiento de gasto, guardrails y UI admin. La documentación reciente también describe un MCP Gateway que centraliza herramientas MCP con permisos por clave, equipo y organización.