LangChain 出品的 LLM 可观测、评测与 Prompt 平台
LangSmith 是 LangChain 提供的云端／可自建平台，用于追踪、监控与改进大模型应用。docs.langchain.com 说明可通过环境变量、框架集成（文档集成页列出的 OpenAI、Anthropic、CrewAI、Vercel AI SDK、Pydantic AI 等）或 LangSmith SDK 接入，以便查看多步 run、对比 Prompt 版本、构建数据集、运行离线与在线评测、配置自动化并收集反馈队列。
使用场景
- 沿嵌套 run 排查多工具 Agent 失败点
- 在数据集实验稳定后再发布 Prompt 变更
- 用生产 trace 构造发布前回归评测集
- 让平台团队在预发与生产环境共享同一观测面
主要功能
- 与 LangSmith 可观测概念对齐的 trace／thread 视图
- Prompt Hub 与程序化管理的官方指南
- 数据集与实验工具支撑离线评测与回归
- 监控看板、告警与自动化（见 monitoring 文档）
- 云托管、混合与自建的平台部署选项
相关推荐
相关推荐
3 收录条目
Langfuse
Langfuse 提供面向大模型与 Agent 的可观测性：接入 trace/span、管理 prompt 与数据集，支持云托管或自建，便于排查多步工具调用、对比 prompt 并跟踪线上指标。
Braintrust
Braintrust 提供 trace、日志分析、人工标注、实验与 scorer，支持 OpenAI/Anthropic 等主流提供商与 LangChain、Vercel AI SDK 等框架集成，用于生产调试与评测闭环。
Mem0
Mem0 在 docs.mem0.ai 文档化自改进记忆层，通过自动提取、去重与语义检索实现跨会话持久上下文。Mem0 Platform（app.mem0.ai）为托管服务；Mem0 Open Source（pip install mem0ai）支持自托管与可插拔向量/图存储。集成 LangChain、CrewAI、Vercel AI SDK 等；Python SDK 云端用 MemoryClient、本地用 Memory。