让Agent可评、可控、可迭代:业务效果导向的评测体系与场景实践
大淘宝技术分享面向业务效果的 Agent 评测体系与场景实践,目标是让 Agent 可评、可控、可迭代。文章从评测体系与业务场景落地两方面展开,讨论如何用评测支撑 Agent 的持续迭代与可控性。
大淘宝技术分享面向业务效果的 Agent 评测体系与场景实践,目标是让 Agent 可评、可控、可迭代。文章从评测体系与业务场景落地两方面展开,讨论如何用评测支撑 Agent 的持续迭代与可控性。
得物技术复盘过去半年在公司内部推动指标字典从0到1落地并支撑Text2SQL语义层建设的路径,业务侧、数仓侧、产品侧三条线同时推进。文中称系统测评SQL准确率从85%+提升到95%+,提升节奏与条件拼接修复、时间解析规则固化、二义性检测上线等治理动作逐一对应。文章还给出AI Coding在数仓开发链路上的提效数据,某业务域OneData建设全流程提效40%+,核心模型开发阶段提效70%+。
推荐理由:得物技术复盘指标字典从0到1的落地路径,给出语义层建设、二义性拦截与Text2SQL准确率提升之间的对应关系。
美团技术团队发布《Agent 评测白皮书》系列第一篇《评测全览》,把完备的 Agent 评测体系概括为四个模块、三种能力、两条 Loop、一套资产。四个模块分别是离线评测、在线评测与在线监控、Case 挖掘与归因、观测基建,其中离线评测作为变更门控,在线部分负责发现未知问题。文章还给出评测体系成熟度自查表,建议冷启动阶段观测、评测集、回测门禁各到 L1 即可支撑最小闭环,并预告下一篇《冷启动篇》。
推荐理由:美团评测团队把两年多业务实践沉淀成四模块、两 Loop 的评测框架,并给出可对照的成熟度自查表。
vivo 互联网存储团队提出 KDC 的 Reality First 视角,主张 AI 应用架构先明确领域现实,再设计数字表示、运行时判断与行动反馈。退款案例说明,渠道受理或接口成功不等于用户到账,Agent 可能将表示歧义放大为错误行动;Reality Map 方法通过梳理系统职责、现实要素、数字表示和结果反馈定位映射缺口。
推荐理由:通过梳理现实状态、数字表示与结果反馈的对应关系,团队可以定位业务承诺超出系统观察范围的建模缺口。
得物技术介绍其基于 AgentScope Java 的企业级 MultiAgent 平台,重点讲 Plan 模式与主/子 Agent 协作。Plan 被做成有状态、可持久化的运行对象,通过 create_plan、activate_subtask 等工具由模型动态创建和调整,并支持断点恢复与 SSE 过程可见。
推荐理由:得物技术公开其企业级 MultiAgent 平台的 Plan 生命周期与主/子 Agent 协作设计,可作为同类平台工程化的参照。
淘天集团直播技术团队介绍了基于 Spring AI Alibaba 1.1.2.0 的 Agent 长程任务断点续传方案,采用框架层 Checkpoint 加上层任务调度的两层架构,不修改框架源码。
推荐理由:淘天直播技术团队公开了不改框架源码实现 Agent 断点续传的两层方案,含关机摘流与子图 ID 处理细节。
天猫新品 MDI 项目复盘了大型 AI 项目研发协同从超级个体到全员赋能的四个阶段。单兵期用 AGENTS.md 入口地图加六个 collar Skill 管理知识库,加人期用站点地图式 spec 目录和 patch 双向指针分工,迭代期用零依赖哨兵机还原预发合并态并由云端 Agent 检测隐形冲突,有效发现率稳定超过 70%、每周发现 40+ 个潜在问题。
推荐理由:天猫新品 MDI 项目把 AI 研发协同拆成四个阶段,给出知识库、站点地图、哨兵机与云端沙箱的具体做法和踩坑记录。
快手电商商家和运营赋能中心分享了用 AI 流水线重塑研发范式的实践,把需求、Spec、开发、测试、oncall 各阶段串成自动化交付链路。团队称 2026 年 1 月至 4 月人均代码量增加 170%,但平均需求交付时长缩短有限,因此转向全生命周期自动化,目标需求吞吐率提升 30%、平均交付时长下降 40%。
推荐理由:快手电商团队复盘了从需求到 oncall 的 AI 流水线搭建过程,并给出组织调整与踩坑清单,可作为复杂系统落地 Agent 交付的参考。
美团技术团队介绍面向本地生活场景的AI数字人直播方案美团智播,围绕形象生成、动作驱动、语音手势协调与推理加速四项技术展开。方案支持真人1:1复刻、30秒生成直播素材、3分钟完成开播配置,过去一年月日均GTV同比增长82.12%,开播场次提升11倍。其中Glance2Gaze实现75%视觉token压缩与2.5倍推理加速,将并发成本降低60%以上。
推荐理由:美团智播团队系统拆解数字人直播从形象生成到万路并发的四项自研技术,可作为多智能体实时系统的工程参考。
得物技术复盘小摊业务从 0 到 1 孵化中让 AI 并行参与 H5、运营后台、Node 网关和 Go 服务开发的过程,提出 Delivery Harness 以 Version Contract、Execution Boundary、Evidence Gate、Repair Loop 四个组件接管交付状态。
推荐理由:得物技术复盘单人全栈交付中 AI 多模块协作的失控风险,并给出四个可复用组件的落地方式。
高德发布流式三维重建模型 ABot-Recon,使用固定 12 帧局部上下文,从连续 RGB 视频在线估计相邻相对位姿与稠密局部几何,并组合生成全局轨迹和场景。
推荐理由:将长序列任务拆成固定窗口内的局部预测与在线组合,为控制模型状态开销提供了可迁移思路,同时明确了累计漂移的边界。
文章从分层记忆模型、持久化策略、上下文压缩和跨会话传递等维度对比 Claude Code 与 Codex 的记忆体系。Claude Code 采用 CLAUDE.md、Auto Memory、Session Memory 与 AutoDream 四层架构,系统可自动捕获并离线整理记忆;Codex 只有 AGENTS.md 静态声明层与会话上下文层,全部依赖人工维护。
推荐理由:从分层结构、持久化、压缩与跨会话传递逐项拆解两套记忆设计,可帮助判断选型取舍。
作者结合自身实践与 Carlos Perez 的文章,梳理 Agent 架构从 Loop Engineering 转向 Graph Engineering 的趋势。
推荐理由:作者结合自身文本分类落地经验,拆解单 Loop 的四类结构性缺陷,并给出多 Loop 互相监督的可迁移做法。
美团履约技术团队与北京大学合作的《GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR》入选 ACL 2026 杰出论文,全球共 18 篇入选。
推荐理由:美团与北大提出面向 RLVR 的低秩适配方法 GeoRA,读者可了解其几何先验设计与在业务 Agentic RL 中的落地数据。
美团搜索团队披露服务零售排序引入 LLM 语义表征的三期实践,从 2025 年 Q4 到 2026 年 Q2 累计完成 3 个 LR 并全量上线。
推荐理由:美团服务零售搜索三期迭代的完整工程复盘,给出了从难负样本构造到跨场景表征迁移的可复用路径。
美团技术团队有 8 篇论文被 KDD 2026 收录,覆盖推荐大模型、奖励建模、智能体搜索、Transformer 框架与元泛化等方向。其中 MTFM 以无对齐方式统一多场景推荐并已全量替换独立精排模型,MTGenRec 相比 TorchRec baseline 取得 1.6 倍至 2.4 倍训练加速。
推荐理由:美团公开 KDD 2026 收录的 8 篇论文与 KDD Cup DataAgents 赛道夺冠方案,可看到工业推荐、奖励建模与智能体搜索的落地路径。
美团图灵 Agent 评测团队将内部博客公开,由浅入深讲解 Agent 评测,涵盖评测是什么、如何建立评测体系,以及长程 Agent 框架对评测带来的变化。文章提出观测加评测等于持续迭代,主张评测需覆盖结果、过程、效率、风险四层,并用指标下钻与 Rubric 二元化实现人人一致、人机一致,文中称数字站长人机一致率达 99%,Beam 从 62% 提升到 92%。
推荐理由:美团图灵团队把两年内部评测实践公开,给出从指标体系到长程 Agent 评测基建的完整落地路径。
美团正式上线全场景 AI Agent 平台 CatPaw,搭载本月开源的 LongCat 2.0(总参数 1.6T、原生支持 1M 上下文)。平台提供移动端、PC 端与云端 7×24 小时协作的 AI 工作台,并内置可一键安装的专家与技能库;同时推出 Managed Agents 企业级托管平台,支持数字员工、租户隔离与可视化运维。
推荐理由:美团把 LongCat 2.0 的模型能力封装成可落地的 Agent 平台,内部 9 万员工、3 万个 Agent 的规模数据可作为企业智能化的参照。
美团 LongCat 团队开源搜索智能体评测基准 LoHoSearch,基于覆盖 762 万维基百科实体的知识图谱自动生成题目,含 544 道经人工核验的题目,覆盖 11 个领域。
推荐理由:美团用知识图谱自动出题构建搜索智能体基准,并给出各模型准确率与上下文策略收益收窄的对比数据。
有赞 coder 团队分享了 Knowledge Wiki 实践,把项目知识以 .wiki/ 目录随 git submodule 分布在 workspace、app、context 三层,供 AI 按层读取。
推荐理由:有赞团队完整拆解了知识库的分层结构、渐进式披露与多 Agent 初始化流程,可作为团队自建 AI 知识层的参考。