百余家 LLM 的统一 OpenAI 形态 API，可选自建网关
LiteLLM 是 docs.litellm.ai 上的开源 Python 库与可选代理栈：通过单一 completion 接口调用多家提供商，响应保持 OpenAI 风格；文档介绍 Router 重试/回退/负载均衡、观测回调，以及带虚拟密钥与费用追踪的 LiteLLM Proxy，并含 MCP Gateway 说明。
使用场景
- 切换模型供应商而不改客户端
- 内部 LLM 网关分团队预算
- 主部署故障自动回退
- 对接 Langfuse 等观测
- 经 Proxy 暴露 MCP
主要功能
- 统一 completion 等 API
- Router 重试与回退
- Proxy OpenAI 兼容端点
- 虚拟密钥与护栏
- MCP Gateway（HTTP/SSE/stdio）
相关推荐
相关推荐
3 收录条目
Helicone
Helicone 通过 ai-gateway.helicone.ai 提供 OpenAI 兼容网关，可调用 100+ 模型并将请求记录到控制台；支持 0% 加价额度、上游故障回退及自带厂商密钥（BYOK）。
Portkey
Portkey 在 docs.portkey.ai 提供 SDK 或 OpenAI 兼容网关（PORTKEY_GATEWAY_URL），统一 250+ 模型接入、请求监控与路由；开源 Gateway 可自建，托管版含每月 1 万次免费额度。
OpenRouter
OpenRouter 提供与 OpenAI 风格兼容的统一 API，让团队可以在一个接入层上调用多家模型、对比成本与效果，并按场景调整路由策略，减少多供应商 SDK 维护成本。