面向 GPU、沙箱、批处理与 LLM 推理的无服务器 Python 云
Modal 在 modal.com 文档化无服务器云：工程师用 Python 运行算力密集型任务而无需配置基础设施，可部署 OpenAI 兼容 LLM 服务、批处理工作流、任务队列、GPU 训练/微调，以及大规模隔离 Sandbox 执行 Agent 生成代码。官方指南通过 @app.function、modal.Image 与代码内 GPU 类型定义环境。按秒计费 serverless，并在多家云之间池化容量；除 Python 外还可经 JavaScript/Go 客户端调用。
使用场景
- 不经 Kubernetes 托管开源 LLM 并追求较低冷启动
- 大规模并行批处理推理或数据任务
- 在最新 GPU 上经代码定义环境做微调
- 在 Sandbox 中运行编码 Agent
- 本地 modal run 原型后扩至生产 serverless 函数
主要功能
- 文档化的 @app.function 与代码级 GPU/镜像配置
- LLM 推理、批处理、实时转写等示例
- 大规模安全 Sandbox 执行 AI 生成代码
- 秒级启动 GPU Notebook
- 介绍指南中的多云容量池
相关推荐
相关推荐
3 收录条目
Fireworks AI
Fireworks AI 提供 REST API 调用语言/图像/embedding 模型；支持 serverless 目录模型与专属 GPU 部署 custom base model 及 LoRA；默认不记录 prompt/输出（见文档例外）。
Groq Cloud API
GroqCloud 通过 Groq 的 HTTP API 提供托管的语言与语音等推理能力；文档说明可将 OpenAI 兼容客户端指向 Groq 的 `base_url` 并使用 Groq API 密钥，亦提供 Groq 官方 Python/JavaScript SDK。定价页面以美元公示按 token 计费档位，便于预估推理成本。
Portkey
Portkey 在 docs.portkey.ai 提供 SDK 或 OpenAI 兼容网关（PORTKEY_GATEWAY_URL），统一 250+ 模型接入、请求监控与路由；开源 Gateway 可自建，托管版含每月 1 万次免费额度。