REST 与官方 Python/JS SDK 调用 Together 托管的开源权重模型
Together AI 为开发者提供在托管 GPU 上运行主流开源模型的推理与训练类产品线。入门文档介绍在控制台创建 API Key、导出 `TOGETHER_API_KEY`、安装 Python `together` 或 npm `together-ai`，以及向 `https://api.together.ai/v1/chat/completions` 发起带 Bearer 鉴权的 HTTPS 调用；并可按文档扩展到流式输出、函数调用、结构化输出、模型目录、专用算力预留与微调等专题。
使用场景
- 快速上线开源对话模型后端
- 在多模型 POC 中与本地或他厂 endpoint 对标延迟与费用
- 把实验性 Prompt 链路固化为 SDK + 密钥注入的标准服务
- 需要时再升级到专用实例或微调流水线
主要功能
- 官方 SDK 与环境变量配置的 Quickstart
- `/v1/chat/completions` 等 REST JSON 示例与 curl/Python/TS 三版本
- 支持流式返回 chunk 以降低首字延迟体验
- 文档索引覆盖托管模型清单、微调与大规模训练负载
- 控制台项目 / 密钥管理与计费绑定说明
相关推荐
相关推荐
3 收录条目
Replicate
Replicate 提供面向开发者的托管机器学习推理平台，通过 HTTP API 与官方 Quickstart（Python、Node.js、Colab 等）调用公开或自发布模型。文档涵盖预测生命周期、流式输出、Webhook、速率与计费、模型目录检索，以及推送自定义模型与按指南进行图像等场景微调的路径。
Groq Cloud API
GroqCloud 通过 Groq 的 HTTP API 提供托管的语言与语音等推理能力；文档说明可将 OpenAI 兼容客户端指向 Groq 的 `base_url` 并使用 Groq API 密钥，亦提供 Groq 官方 Python/JavaScript SDK。定价页面以美元公示按 token 计费档位，便于预估推理成本。
Baseten
Baseten 在 docs.baseten.co 文档化训练与推理平台：团队可通过开源 Truss 框架部署模型，或不经自建基础设施直接调用托管 Model APIs。仅 config.yaml 的 Truss 部署指向 Hugging Face 检查点、GPU 与 TensorRT-LLM 等引擎；truss push 构建优化容器并暴露 OpenAI 兼容端点。自定义架构在 model.py 中用 Model 类的 load/predict 实现。Model APIs 以 BASETEN_API_KEY 即时调用目录模型。