API unificada formato OpenAI para 100+ proveedores LLM y gateway opcional autogestionado
LiteLLM es una biblioteca Python open source y stack proxy documentado en docs.litellm.ai que expone una interfaz `completion()` única para proveedores como OpenAI, Anthropic, Vertex AI, Bedrock y Ollama con formas de petición/respuesta compatibles con OpenAI. El proyecto documenta un Router con reintentos, fallback y balanceo, callbacks de observabilidad (Langfuse, MLflow, Helicone y otros en las guías) y un LiteLLM Proxy autogestionado con claves virtuales, seguimiento de gasto, guardrails y UI admin. La documentación reciente también describe un MCP Gateway que centraliza herramientas MCP con permisos por clave, equipo y organización.
Casos de uso
- Cambiar proveedor sin reescribir clientes
- Gateway interno con presupuestos por equipo
- Fallbacks automáticos ante rate limits
- Callbacks a Langfuse/MLflow
- Exponer MCP servers vía proxy LiteLLM
Funciones principales
- APIs agnósticas al proveedor con objetos `ModelResponse` según docs
- Router con reintentos, fallback y balanceo
- Quickstarts del proxy (CLI y Docker) con URL compatible OpenAI
- Claves virtuales, cost tracking y guardrails en docs del proxy
- MCP Gateway con HTTP streamable, SSE y stdio
Relacionados
Relacionados
3 Entradas indexadas
Helicone
Helicone documenta un AI Gateway en ai-gateway.helicone.ai para invocar más de 100 modelos (OpenAI, Anthropic, Google, Groq, etc.) con URL base compatible con OpenAI y registrar cada petición en el panel. El quickstart oficial indica registro en helicone.ai, claves API en el plano US y clientes OpenAI SDK apuntando al gateway con observabilidad automática. La documentación afirma créditos sin markup frente a tarifas de proveedor, fallbacks automáticos ante caídas y opción de traer claves propias.
Portkey
Portkey documenta en docs.portkey.ai un gateway de IA que unifica acceso a más de 250 modelos mediante SDK Portkey o URL base compatible con OpenAI (`PORTKEY_GATEWAY_URL`) y cabeceras de enrutamiento. Los quickstarts muestran integraciones Python/TypeScript en pocas líneas que monitorizan solicitudes para resiliencia, seguridad y rendimiento. El gateway open source es gratuito autogestionado; el servicio gestionado incluye 10k solicitudes/mes gratis, workers edge con ~20–40 ms de latencia adicional, certificaciones ISO 27001 y SOC 2, y opciones para no almacenar cuerpos de petición/respuesta.
OpenRouter
OpenRouter es una pasarela de modelos que expone muchos modelos de IA de terceros mediante una API compatible con OpenAI. Los equipos pueden comparar proveedores, definir reglas de enrutamiento y cambiar de modelo sin reescribir la lógica cliente para cada SDK. El servicio publica precios por modelo y admite uso de pago por consumo.