Entrena, despliega y sirve modelos con Truss, Model APIs y endpoints compatibles con OpenAI
Baseten documenta en docs.baseten.co una plataforma de entrenamiento e inferencia: despliegues con el framework Truss o Model APIs alojadas sin infra propia. Despliegues solo con `config.yaml` apuntan a checkpoints de Hugging Face, GPUs y motores como TensorRT-LLM; `truss push` construye contenedores optimizados y expone APIs compatibles con OpenAI. Arquitecturas personalizadas usan la clase `Model` con `load` y `predict`. Model APIs permiten inferencia inmediata con `BASETEN_API_KEY`.
Casos de uso
- Publicar un LLM de Hugging Face sin Dockerfiles
- Prototipar con Model APIs y luego desplegar fine-tunes con Truss
- Reutilizar SDK OpenAI cambiando base URL
- Lógica custom en `predict` con escalado gestionado
- Comparar builds TensorRT-LLM vs PyTorch
Funciones principales
- Despliegues Truss con `config.yaml` para LLM/embeddings/imagen soportados
- APIs HTTP compatibles con OpenAI y autenticación `BASETEN_API_KEY`
- Ciclo `model.py` para preprocesado y arquitecturas no soportadas
- Rutas development vs production documentadas
- Model APIs sin despliegue privado inicial
Relacionados
Relacionados
3 Entradas indexadas
fal
fal documenta en fal.ai/docs apps `fal.App` con `@fal.endpoint` en runners H100/A100/B200 con autoscaling, o más de 1.000 Model APIs vía cliente unificado. Flujo: `fal run` para pruebas y `fal deploy` para endpoints persistentes (`fal_client.subscribe` o queue.fal.run). Incluye `setup()`, machine_type GPU, auth privada/pública, facturación por segundo vs Compute por hora y analíticas con métricas Prometheus.
Fireworks AI
Fireworks AI documenta en docs.fireworks.ai una plataforma REST para modelos de lenguaje, imagen y embeddings con claves Bearer desde el dashboard o firectl. Los modelos usan IDs globales accounts/<cuenta>/models/<id> y pueden servirse vía inferencia serverless (p. ej. Llama 3.1 70B) o despliegues GPU dedicados para modelos base custom y addons LoRA. La doc distingue facturación por token serverless con uptime best-effort de despliegues dedicados por GPU-segundo privados, y afirma que prompts/salidas no se registran salvo excepciones documentadas.
RunPod
RunPod documenta en docs.runpod.io una plataforma serverless para desplegar handlers containerizados pagando solo tiempo de cómputo. Los desarrolladores usan el SDK Runpod, imágenes Docker y endpoints en api.runpod.ai/v2/{ID}/runsync o /run con Bearer RUNPOD_API_KEY. La doc cubre handlers streaming, endpoints load-balancing, Pods persistentes y REST en rest.runpod.io.