SLM 生成式高并发推理引擎:延迟约束下的有效吞吐优化
美团技术团队公开了面向搜索推荐场景 SLM 有界生成负载的推理引擎,以静态 DAG 组织完整业务请求,结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享与选择性 FP8 压缩调度和计算开销。
推荐理由:美团公开了面向搜推 SLM 有界生成负载的推理系统设计,含静态 DAG 分层架构与逐项优化收益数据。
美团技术团队公开了面向搜索推荐场景 SLM 有界生成负载的推理引擎,以静态 DAG 组织完整业务请求,结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享与选择性 FP8 压缩调度和计算开销。
推荐理由:美团公开了面向搜推 SLM 有界生成负载的推理系统设计,含静态 DAG 分层架构与逐项优化收益数据。
美团技术团队公开了面向搜索推荐场景 SLM 的推理引擎,以静态 DAG 组织完整业务请求,结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享和选择性 FP8 压缩调度与计算开销。
推荐理由:美团公开了面向搜推有界生成负载的推理引擎设计,含分层 A/B 数据与适用边界,可供同类低延迟场景参考。
美团技术团队提出统一推荐基座大模型 MTFM,在 MTGR 基础上首次实现外卖多个主要业务的统一精排模型,相关工作已被 KDD 2026 收录。模型以异构 Tokenizer 与动态掩码实现多场景特征免对齐,用混合注意力与 Target Scale-Up 提升 Scaling 能力,并借鉴 LLM 的初始化、Muon 优化器等实践改善深层网络训练。
推荐理由:美团公开了推荐基座模型从多场景统一建模到训推优化的完整工程路径,可看工业级 Scaling 如何落到业务指标。
美团技术团队发布《Agent 评测白皮书》系列第一篇《评测全览》,把完备的 Agent 评测体系概括为四个模块、三种能力、两条 Loop、一套资产。四个模块分别是离线评测、在线评测与在线监控、Case 挖掘与归因、观测基建,其中离线评测作为变更门控,在线部分负责发现未知问题。文章还给出评测体系成熟度自查表,建议冷启动阶段观测、评测集、回测门禁各到 L1 即可支撑最小闭环,并预告下一篇《冷启动篇》。
推荐理由:美团评测团队把两年多业务实践沉淀成四模块、两 Loop 的评测框架,并给出可对照的成熟度自查表。
美团技术团队介绍面向本地生活场景的AI数字人直播方案美团智播,围绕形象生成、动作驱动、语音手势协调与推理加速四项技术展开。方案支持真人1:1复刻、30秒生成直播素材、3分钟完成开播配置,过去一年月日均GTV同比增长82.12%,开播场次提升11倍。其中Glance2Gaze实现75%视觉token压缩与2.5倍推理加速,将并发成本降低60%以上。
推荐理由:美团智播团队系统拆解数字人直播从形象生成到万路并发的四项自研技术,可作为多智能体实时系统的工程参考。
美团履约技术团队与北京大学合作的《GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR》入选 ACL 2026 杰出论文,全球共 18 篇入选。
推荐理由:美团与北大提出面向 RLVR 的低秩适配方法 GeoRA,读者可了解其几何先验设计与在业务 Agentic RL 中的落地数据。
美团搜索团队披露服务零售排序引入 LLM 语义表征的三期实践,从 2025 年 Q4 到 2026 年 Q2 累计完成 3 个 LR 并全量上线。
推荐理由:美团服务零售搜索三期迭代的完整工程复盘,给出了从难负样本构造到跨场景表征迁移的可复用路径。
美团技术团队有 8 篇论文被 KDD 2026 收录,覆盖推荐大模型、奖励建模、智能体搜索、Transformer 框架与元泛化等方向。其中 MTFM 以无对齐方式统一多场景推荐并已全量替换独立精排模型,MTGenRec 相比 TorchRec baseline 取得 1.6 倍至 2.4 倍训练加速。
推荐理由:美团公开 KDD 2026 收录的 8 篇论文与 KDD Cup DataAgents 赛道夺冠方案,可看到工业推荐、奖励建模与智能体搜索的落地路径。
美团图灵 Agent 评测团队将内部博客公开,由浅入深讲解 Agent 评测,涵盖评测是什么、如何建立评测体系,以及长程 Agent 框架对评测带来的变化。文章提出观测加评测等于持续迭代,主张评测需覆盖结果、过程、效率、风险四层,并用指标下钻与 Rubric 二元化实现人人一致、人机一致,文中称数字站长人机一致率达 99%,Beam 从 62% 提升到 92%。
推荐理由:美团图灵团队把两年内部评测实践公开,给出从指标体系到长程 Agent 评测基建的完整落地路径。
美团正式上线全场景 AI Agent 平台 CatPaw,搭载本月开源的 LongCat 2.0(总参数 1.6T、原生支持 1M 上下文)。平台提供移动端、PC 端与云端 7×24 小时协作的 AI 工作台,并内置可一键安装的专家与技能库;同时推出 Managed Agents 企业级托管平台,支持数字员工、租户隔离与可视化运维。
推荐理由:美团把 LongCat 2.0 的模型能力封装成可落地的 Agent 平台,内部 9 万员工、3 万个 Agent 的规模数据可作为企业智能化的参照。
美团 LongCat 团队开源搜索智能体评测基准 LoHoSearch,基于覆盖 762 万维基百科实体的知识图谱自动生成题目,含 544 道经人工核验的题目,覆盖 11 个领域。
推荐理由:美团用知识图谱自动出题构建搜索智能体基准,并给出各模型准确率与上下文策略收益收窄的对比数据。