跳到正文
  1. 京东技术75

    Jev:当 AI 不再"写答案",而是直接做决策

    Jev 面向结构化问题返回有类型的决策及概率,京东技术围绕其与 LLM 的分工和生产接入展开解读。其 Choice、Score 和 Noul 三种输出分别用于选择、评分和带概率的二元判断,但类型正确不等于语义正确,概率输出也不能替代业务安全约束。落地建议从高频、边界清楚、可评测、可回滚的决策点开始,比较规则、传统分类器、LLM 结构化输出与 Jev,并经过离线评测、影子运行和逐步放量。

    推荐理由:将决策模型接入拆成契约定义、基线比较和影子运行,把类型约束、概率评测与执行权限分开处理,可迁移到边界明确的自动化节点。

  1. 美团技术团队88

    SLM 生成式高并发推理引擎:延迟约束下的有效吞吐优化

    美团技术团队公开了面向搜索推荐场景 SLM 有界生成负载的推理引擎,以静态 DAG 组织完整业务请求,结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享与选择性 FP8 压缩调度和计算开销。

    推荐理由:美团公开了面向搜推 SLM 有界生成负载的推理系统设计,含静态 DAG 分层架构与逐项优化收益数据。

  2. 美团技术团队博客88

    SLM 生成式高并发推理引擎:延迟约束下的有效吞吐优化

    美团技术团队公开了面向搜索推荐场景 SLM 的推理引擎,以静态 DAG 组织完整业务请求,结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享和选择性 FP8 压缩调度与计算开销。

    推荐理由:美团公开了面向搜推有界生成负载的推理引擎设计,含分层 A/B 数据与适用边界,可供同类低延迟场景参考。

  1. 美团技术团队博客88

    MTFM:美团统一推荐基座大模型在外卖多业务场景的落地实践

    美团技术团队提出统一推荐基座大模型 MTFM,在 MTGR 基础上首次实现外卖多个主要业务的统一精排模型,相关工作已被 KDD 2026 收录。模型以异构 Tokenizer 与动态掩码实现多场景特征免对齐,用混合注意力与 Target Scale-Up 提升 Scaling 能力,并借鉴 LLM 的初始化、Muon 优化器等实践改善深层网络训练。

    推荐理由:美团公开了推荐基座模型从多场景统一建模到训推优化的完整工程路径,可看工业级 Scaling 如何落到业务指标。

  1. 美团技术团队博客78

    美团智播——数字人直播技术创新与实践

    美团技术团队介绍面向本地生活场景的AI数字人直播方案美团智播,围绕形象生成、动作驱动、语音手势协调与推理加速四项技术展开。方案支持真人1:1复刻、30秒生成直播素材、3分钟完成开播配置,过去一年月日均GTV同比增长82.12%,开播场次提升11倍。其中Glance2Gaze实现75%视觉token压缩与2.5倍推理加速,将并发成本降低60%以上。

    推荐理由:美团智播团队系统拆解数字人直播从形象生成到万路并发的四项自研技术,可作为多智能体实时系统的工程参考。

已经到底了