高速推理 API，提供 OpenAI 兼容的 chat completions
Cerebras 在 inference-docs.cerebras.ai 文档化 Shared Inference 与 Dedicated Inference。Shared Inference 的 Free Trial 与 Pay as You Go 目录列出 gpt-oss-120b（约 3000 tokens/s，免费 65k / 付费 131k 上下文）与 qwen-3.8-27b（约 1850 tokens/s，64k / 128k）。Chat completions 使用 Cerebras Cloud SDK（Python cerebras.cloud.sdk、TypeScript cerebras_cloud_sdk）。文档描述上述模型的 tool calling、streaming，以及 Dedicated Inference 的更多模型族、预留容量与 SLA。Shared Inference 提供未剪枝原版模型。
使用场景
- 需要高 tokens/s 的低延迟聊天与 Agent 循环
- 以 OpenAI SDK 风格迁移到 Cerebras chat completions
- 在 gpt-oss-120b 或 qwen-3.8-27b 上做 tool-using Agent
- 上生产前对比 Shared 速率限制与 Dedicated SLA
- 与本站可观测性工具搭配记录 Cerebras 请求用量
主要功能
- 经 Cerebras Cloud SDK 调用 OpenAI 风格 chat completions
- Shared Inference 模型 gpt-oss-120b 与 qwen-3.8-27b
- stream=true 流式响应
- strict mode 与并行 tool calling
- Dedicated Inference 提供更多模型族与预留容量
相关推荐
相关推荐
3 收录条目
CoreWeave
CoreWeave 在 docs.coreweave.com/products/inference 文档化 Serverless、Dedicated（在 H100/B200/A100 等 GPU 上 BYOW）与 CKS 推理产品，均提供 OpenAI API 兼容端点。推理 API 位于 api.coreweave.com（v1alpha1），经 REST/JSON、gRPC 或 Connect 管理 gateway、deployment 与 capacity claim，需 Bearer 令牌及 Inference Viewer/Admin 角色。入门指南说明 IAM 鉴权 gateway、按请求体 model 字段路由，以及对 Object Storage 中权重发起 chat completion。
NVIDIA NIM
NVIDIA NIM 在 docs.api.nvidia.com/nim 与 docs.nvidia.com/nim 文档化性能优化推理微服务：通过容器暴露行业标准 API（OpenAI 兼容的 /v1/chat/completions、/v1/completions、/v1/responses，以及 Anthropic 兼容的 /v1/messages），后端可为 TensorRT-LLM、vLLM 或 SGLang。可在云、数据中心或 RTX 工作站自托管，也可经 Developer Program 使用托管 NIM API 做原型。自托管容器提供 /v1/health/ready 与 /v1/metrics 等管理端点。
Baseten
Baseten 在 docs.baseten.co 文档化训练与推理平台：团队可通过开源 Truss 框架部署模型，或不经自建基础设施直接调用托管 Model APIs。仅 config.yaml 的 Truss 部署指向 Hugging Face 检查点、GPU 与 TensorRT-LLM 等引擎；truss push 构建优化容器并暴露 OpenAI 兼容端点。自定义架构在 model.py 中用 Model 类的 load/predict 实现。Model APIs 以 BASETEN_API_KEY 即时调用目录模型。