Day 6 · AgentOps 可观测性
预计时间:2.5 小时
学习材料
| # | 资料 | 时间 | 类型 |
|---|---|---|---|
| 1 | AgentOps GitHub - README + Quickstart | 1h | 快速上手 |
| 2 | AgentOps: Enabling Observability of LLM Agents - arXiv | 1h | 论文原理 |
| 3 | 12 Best AI Observability Tools 2026 | 30min | 选型参考 |
为什么需要 AgentOps
传统 APM 监控的是请求-响应。Agent 是多步骤、非确定性的。你需要追踪:
- Session — 一次完整的 Agent 运行
- Trace — 一条执行路径(可能有分支)
- Span — 单个步骤(LLM 调用、Tool 调用、决策点)
工具选型
| 工具 | 定位 | 适合 |
|---|---|---|
| AgentOps | 多 Agent 追踪 + 成本统计 | CrewAI / AutoGen 生态 |
| Langfuse | 开源、可自托管 | 需要数据私有化 |
| Arize Phoenix | RAG pipeline 调试 | 重 RAG 场景 |
| LangSmith | LangChain 原生 | LangChain 生态 |
自检问题
- [ ] Agent 可观测性与传统 APM 有什么区别?
- [ ] AgentOps 追踪的核心单元是什么?
- [ ] Langfuse vs AgentOps vs Arize Phoenix 分别适合什么场景?
- [ ] 你的哪个项目最需要加可观测性?