LangChain、Langfuse、Mercor、CoreWeave 和 Galileo
评测——超越“感觉不错”的检验 | LangChain、Langfuse、Mercor、CoreWeave 和 Galileo
每个人都说自己在做评测，但几乎没人真正在做。LangChain 给出了一个具体数字：大约 89% 的团队已经搭建了可观测性，但只有约三分之一的团队真正利用它收集到的数据做点什么。
所以我把五位以此为业的人请到了一个房间，他们分别来自 LangChain、Mercor、Galileo、Langfuse 和 CoreWeave。顺便一提，这些公司中有三家在过去一年被收购了：Galileo 被 Cisco 收购，Langfuse 被 ClickHouse 收购，Weights & Biases 被 CoreWeave 收购。这一层的公司被买走的速度，比大多数团队搞清楚怎么用它还要快。
有几件事是我事先没预料到的。在 Agent 运行时对它进行评分，成本可能比 Agent 本身还高。你用来当裁判的模型，很可能在某些你永远察觉不到的地方出错了。而那位所在公司出售评测工具的老哥，居然在现场告诉大家：别在上线前写评测了，直接发布，然后从故障中学习。
我们还聊到了没人写博客的那些部分。一个人仍然需要手动阅读多少条 trace。为什么同一个 Agent 在内部是周末项目，到了银行却要干上一年。当你的用户开始做你从没想过要测试的事情时，会发生什么。
如果你已经上线了一个 Agent，却没有任何可靠的办法知道它到底运行得好不好，那这期内容值得你一看！
