跳到正文
  1. 美团技术团队博客75

    《Agent 评测白皮书》系列01:Agent 评测全览

    美团技术团队发布《Agent 评测白皮书》系列第一篇《评测全览》,把完备的 Agent 评测体系概括为四个模块、三种能力、两条 Loop、一套资产。四个模块分别是离线评测、在线评测与在线监控、Case 挖掘与归因、观测基建,其中离线评测作为变更门控,在线部分负责发现未知问题。文章还给出评测体系成熟度自查表,建议冷启动阶段观测、评测集、回测门禁各到 L1 即可支撑最小闭环,并预告下一篇《冷启动篇》。

    推荐理由:美团评测团队把两年多业务实践沉淀成四模块、两 Loop 的评测框架,并给出可对照的成熟度自查表。

  1. 美团技术团队博客78

    Agent评测漫谈 —— 由浅入深讲解Agent评测

    美团图灵 Agent 评测团队将内部博客公开,由浅入深讲解 Agent 评测,涵盖评测是什么、如何建立评测体系,以及长程 Agent 框架对评测带来的变化。文章提出观测加评测等于持续迭代,主张评测需覆盖结果、过程、效率、风险四层,并用指标下钻与 Rubric 二元化实现人人一致、人机一致,文中称数字站长人机一致率达 99%,Beam 从 62% 提升到 92%。

    推荐理由:美团图灵团队把两年内部评测实践公开,给出从指标体系到长程 Agent 评测基建的完整落地路径。

  1. 美团技术团队博客60

    下一代搜索智能体评测基准!美团开源LoHoSearch,用知识图谱校准AI能力认知

    美团 LongCat 团队开源搜索智能体评测基准 LoHoSearch,基于覆盖 762 万维基百科实体的知识图谱自动生成题目,含 544 道经人工核验的题目,覆盖 11 个领域。

    推荐理由:美团用知识图谱自动出题构建搜索智能体基准,并给出各模型准确率与上下文策略收益收窄的对比数据。

已经到底了