非算法工程师也能看懂,推理框架的来龙去脉
文章系统解释推理框架在模型部署与智能体调用中的作用,并按请求处理链路梳理入口、调度、执行、缓存、集群和输出环节。文章梳理 vLLM、SGLang、TensorRT-LLM 等开源项目的发展,并解释 Prefill、Decode、KV Cache、连续批处理和 PD 分离等机制与延迟、吞吐及成本的关系。
推荐理由:文章沿着请求处理链路拆解推理框架,并联系智能体的长上下文负载,帮助读者理解缓存、调度与吞吐如何影响成本和响应体验。
文章系统解释推理框架在模型部署与智能体调用中的作用,并按请求处理链路梳理入口、调度、执行、缓存、集群和输出环节。文章梳理 vLLM、SGLang、TensorRT-LLM 等开源项目的发展,并解释 Prefill、Decode、KV Cache、连续批处理和 PD 分离等机制与延迟、吞吐及成本的关系。
推荐理由:文章沿着请求处理链路拆解推理框架,并联系智能体的长上下文负载,帮助读者理解缓存、调度与吞吐如何影响成本和响应体验。
Jev 面向结构化问题返回有类型的决策及概率,京东技术围绕其与 LLM 的分工和生产接入展开解读。其 Choice、Score 和 Noul 三种输出分别用于选择、评分和带概率的二元判断,但类型正确不等于语义正确,概率输出也不能替代业务安全约束。落地建议从高频、边界清楚、可评测、可回滚的决策点开始,比较规则、传统分类器、LLM 结构化输出与 Jev,并经过离线评测、影子运行和逐步放量。
推荐理由:将决策模型接入拆成契约定义、基线比较和影子运行,把类型约束、概率评测与执行权限分开处理,可迁移到边界明确的自动化节点。
火山引擎 AI MediaKit 巨幕超分方案在 2026 抖音美好奇妙夜中,将 720P/1080P 素材增强至 8K 用于 20 米舞台巨幕播放。方案通过逐帧语义级纹理生成、边缘细节重建和时序一致性约束,补全原始素材中不存在的细节并避免帧间闪烁。该能力此前已在 2026 年春晚将 Seedance 2.0 生成的 720P 视频增强至 8K,目前最高支持 16K/32K 分辨率输出。
推荐理由:原文拆解了巨幕超分在纹理生成、边缘重建与时序一致性上的具体做法,可了解生成式补全如何落到工程交付。
大淘宝技术介绍方舟 AI 会场 Agent Harness,把用户一句话需求经策划、视觉设计、数据装配与页面构建链路转化为可投放淘内或端外的 page.html 会场。
推荐理由:淘天团队拆解会场 Agent 的 Harness 环境,涵盖 Skill 体系、SubAgent 上下文隔离与质检观测,可供构建生产级 Agent 参考。
腾讯技术工程团队用Harness工作流在3个月内将约90万行的视频剪辑旧项目重写为约12万行代码、15万行文档和6000+测试用例,测试覆盖率86%,7、8两个月迭代了30+新功能需求。
推荐理由:团队用3个月把90万行旧项目重写为12万行,文中给出Harness工作流各阶段的具体做法与踩坑。
美团技术团队公开了面向搜索推荐场景 SLM 有界生成负载的推理引擎,以静态 DAG 组织完整业务请求,结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享与选择性 FP8 压缩调度和计算开销。
推荐理由:美团公开了面向搜推 SLM 有界生成负载的推理系统设计,含静态 DAG 分层架构与逐项优化收益数据。
美团技术团队公开了面向搜索推荐场景 SLM 的推理引擎,以静态 DAG 组织完整业务请求,结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享和选择性 FP8 压缩调度与计算开销。
推荐理由:美团公开了面向搜推有界生成负载的推理引擎设计,含分层 A/B 数据与适用边界,可供同类低延迟场景参考。
京东技术团队分享了其自研分表组件的设计与实现,基于 MyBatis 插件机制,用策略模式加责任链模式完成 SQL 拦截与重写。组件按仓库编号分表,支持单写单读、双写单读、单写双读等多种读写策略,双写时用分号拼接两条 INSERT 同时写入旧表与分表,双读时用 UNION ALL 合并结果并对 COUNT、SUM 做外层聚合。
推荐理由:京东团队公开自研分表组件的设计思路与双写双读 SQL 重写细节,可作为大表治理的工程参考。
得物技术介绍了资产验收场景的 Agent 实践,把验收规则以文本配置下发,由 LLM 负责材料提取与规则比对,文件解析、印章检测、数值核对等环节交给确定性代码。系统配套用户反馈推导标准答案、试跑与回测双阈值门禁、三种流量四道隔离闸门,并采用提取与判定分离的双制品模型、关键判定多模型投票和盖章检测三级流水线。文中称月均验收单审批量数百单,规则发布需回测一致率超过配置阈值(如≥90%)才允许常规发布。
推荐理由:得物技术公开资产验收 Agent 的确定性工作流设计,含试跑回测门禁与防幻觉护栏的具体实现。
阿里技术作者以工程背景学习斯坦福 CS336 课程,跟随 Assignment1 从零手写一个 Llama 风格 decoder-only Transformer,并逐模块拆解实现。
推荐理由:作者以工程背景从零手写 Transformer 各模块,并附参数量与 FLOPs 核算,可作为理解 LLM 底层结构的实操参考。
腾讯技术工程以数字化团队作类比,梳理 Model 是大脑、Agent 是数字员工、Skill 是岗位手册、MCP 是转接头、CLI 是对讲机的关系,并说明 MCP 与 CLI 可以嵌套。
推荐理由:文章用团队类比理清 Agent、MCP、Skill、CLI、Model 的关系,并给出老系统接入 AI 的三条路径与选型决策树。
腾讯技术工程复盘 OK 平台端到端 AI 研发实践,安全中心项目空间 4 月至 6 月提交的 254 条需求中,AI 端到端完成 172 条(68%),51% 的需求在 2 小时内完成。
推荐理由:腾讯 OK 平台公开了端到端 AI 研发的九阶段流程与真实运营数据,可看到各环节质量门的具体设计。
高德本地生活分析 Agent 在 FY27 S1 完成建设,支撑本地生活多个业务单元例行经营诊断,全行业经营简报一小时内产出。文章按 L0–L4 能力分级梳理进展,认为绝大部分任务已具备 L3 特征,部分场景走到 L4。作者复盘了分析执行、知识复用、经营判断三段返工,并给出指标口径更新 Pipeline、事实绑定与三层检查等做法。
推荐理由:高德本地生活分析 Agent 的万字复盘,记录了分析执行、知识复用与经营判断三段返工中的具体取舍。
阿里稳定性团队复盘 S1 的 AI Native 研发转型,通过结构化技能、Anchor 插件和质量门禁,将跨角色生成的代码纳入团队交付流程。设计原型库与正式库分离但共享规范,AIOps 原型代码复用率从不足 30% 提升至 80%,还原、走查和修改从两三天压缩到半天。跨端开发仍需专业 owner 评审与结对支持,返工、缺陷、长期维护成本及应急助手的诊断效果尚未形成完整衡量结果。
推荐理由:把技术栈识别、规范加载和提交检查嵌入代码生产流程,为跨角色使用 AI 后如何减少交接返工提供了可迁移的工程方法。
阿里 TRE AI 系统工程团队用 AKA 优化 Qwen3.8-Max 的三类核心算子,在 60 个真实业务 shape 上均取得低于专家版本的几何平均时延。AKA 与算子库 atrex-kernels 已开源,地址为 https://github.com/alibaba/atrex-kernel-agent 和 https://github.com/alibaba/atrex-kernels。
推荐理由:文章用 60 个真实业务 shape 对比生产基线与专家实现,并拆解三条算子线的结构优化,呈现 Kernel Agent 从榜单验证走向生产交付的工程路径。
阿里巴巴 AI Native 研发实践论坛的六组分享指出,代码生成提速后,软件交付瓶颈转向需求澄清、上下文衔接、环境复现、结果验证和生产治理。现场分享称,阿里巴巴编码通常只占软件交付总时长的 20%—30%;飞猪平台技术团队通过需求检查及流程线上化、标准化,将需求从评审到上线的端到端平均周期由 2—4 周缩短至 1 周,各团队指标口径不同,不宜直接横向比较。
推荐理由:将编码提速与端到端交付拆开考察,为团队识别需求澄清、跨角色协作和验证环节的瓶颈提供了具体的分析框架。
得物交易搜索团队复盘过去一年从判别式检索转向生成式召回的实践,覆盖LLM文本索引增强、多模态四塔向量召回、HLLM语义表征、HSTU行为序列建模与基于语义ID的统一生成式召回。
推荐理由:得物交易搜索团队完整复盘从判别式检索转向生成式召回的工程路径,包含量化方案与线上架构取舍。
字节跳动技术团队以客户赔付口径冲突为例,演示如何用 OpenViking 零代码搭建 LLM-Wiki 团队知识库。流程包括通过本地上传、链接、飞书文档同步和 add-resource 命令导入资料,再用 Compile 配合自定义或官方 llm-wiki skill 将原始数据编译成带交叉引用的 Wiki,成员可在控制台编辑修正。
推荐理由:以赔付口径冲突的案例串起导入、Compile 编译、人工修订到 Agent 检索的完整链路,可作团队知识库落地参考。
美团技术团队提出统一推荐基座大模型 MTFM,在 MTGR 基础上首次实现外卖多个主要业务的统一精排模型,相关工作已被 KDD 2026 收录。模型以异构 Tokenizer 与动态掩码实现多场景特征免对齐,用混合注意力与 Target Scale-Up 提升 Scaling 能力,并借鉴 LLM 的初始化、Muon 优化器等实践改善深层网络训练。
推荐理由:美团公开了推荐基座模型从多场景统一建模到训推优化的完整工程路径,可看工业级 Scaling 如何落到业务指标。
得物技术复盘过去半年在公司内部推动指标字典从0到1落地并支撑Text2SQL语义层建设的路径,业务侧、数仓侧、产品侧三条线同时推进。文中称系统测评SQL准确率从85%+提升到95%+,提升节奏与条件拼接修复、时间解析规则固化、二义性检测上线等治理动作逐一对应。文章还给出AI Coding在数仓开发链路上的提效数据,某业务域OneData建设全流程提效40%+,核心模型开发阶段提效70%+。
推荐理由:得物技术复盘指标字典从0到1的落地路径,给出语义层建设、二义性拦截与Text2SQL准确率提升之间的对应关系。
淘天集团直播技术团队介绍了基于 Spring AI Alibaba 1.1.2.0 的 Agent 长程任务断点续传方案,采用框架层 Checkpoint 加上层任务调度的两层架构,不修改框架源码。
推荐理由:淘天直播技术团队公开了不改框架源码实现 Agent 断点续传的两层方案,含关机摘流与子图 ID 处理细节。
得物技术介绍其基于 AgentScope Java 的企业级 MultiAgent 平台,重点讲 Plan 模式与主/子 Agent 协作。Plan 被做成有状态、可持久化的运行对象,通过 create_plan、activate_subtask 等工具由模型动态创建和调整,并支持断点恢复与 SSE 过程可见。
推荐理由:得物技术公开其企业级 MultiAgent 平台的 Plan 生命周期与主/子 Agent 协作设计,可作为同类平台工程化的参照。
天猫新品 MDI 项目复盘了大型 AI 项目研发协同从超级个体到全员赋能的四个阶段。单兵期用 AGENTS.md 入口地图加六个 collar Skill 管理知识库,加人期用站点地图式 spec 目录和 patch 双向指针分工,迭代期用零依赖哨兵机还原预发合并态并由云端 Agent 检测隐形冲突,有效发现率稳定超过 70%、每周发现 40+ 个潜在问题。
推荐理由:天猫新品 MDI 项目把 AI 研发协同拆成四个阶段,给出知识库、站点地图、哨兵机与云端沙箱的具体做法和踩坑记录。
快手电商商家和运营赋能中心分享了用 AI 流水线重塑研发范式的实践,把需求、Spec、开发、测试、oncall 各阶段串成自动化交付链路。团队称 2026 年 1 月至 4 月人均代码量增加 170%,但平均需求交付时长缩短有限,因此转向全生命周期自动化,目标需求吞吐率提升 30%、平均交付时长下降 40%。
推荐理由:快手电商团队复盘了从需求到 oncall 的 AI 流水线搭建过程,并给出组织调整与踩坑清单,可作为复杂系统落地 Agent 交付的参考。
美团技术团队介绍面向本地生活场景的AI数字人直播方案美团智播,围绕形象生成、动作驱动、语音手势协调与推理加速四项技术展开。方案支持真人1:1复刻、30秒生成直播素材、3分钟完成开播配置,过去一年月日均GTV同比增长82.12%,开播场次提升11倍。其中Glance2Gaze实现75%视觉token压缩与2.5倍推理加速,将并发成本降低60%以上。
推荐理由:美团智播团队系统拆解数字人直播从形象生成到万路并发的四项自研技术,可作为多智能体实时系统的工程参考。
得物技术复盘小摊业务从 0 到 1 孵化中让 AI 并行参与 H5、运营后台、Node 网关和 Go 服务开发的过程,提出 Delivery Harness 以 Version Contract、Execution Boundary、Evidence Gate、Repair Loop 四个组件接管交付状态。
推荐理由:得物技术复盘单人全栈交付中 AI 多模块协作的失控风险,并给出四个可复用组件的落地方式。
美团搜索团队披露服务零售排序引入 LLM 语义表征的三期实践,从 2025 年 Q4 到 2026 年 Q2 累计完成 3 个 LR 并全量上线。
推荐理由:美团服务零售搜索三期迭代的完整工程复盘,给出了从难负样本构造到跨场景表征迁移的可复用路径。
美团图灵 Agent 评测团队将内部博客公开,由浅入深讲解 Agent 评测,涵盖评测是什么、如何建立评测体系,以及长程 Agent 框架对评测带来的变化。文章提出观测加评测等于持续迭代,主张评测需覆盖结果、过程、效率、风险四层,并用指标下钻与 Rubric 二元化实现人人一致、人机一致,文中称数字站长人机一致率达 99%,Beam 从 62% 提升到 92%。
推荐理由:美团图灵团队把两年内部评测实践公开,给出从指标体系到长程 Agent 评测基建的完整落地路径。
有赞 coder 团队分享了 Knowledge Wiki 实践,把项目知识以 .wiki/ 目录随 git submodule 分布在 workspace、app、context 三层,供 AI 按层读取。
推荐理由:有赞团队完整拆解了知识库的分层结构、渐进式披露与多 Agent 初始化流程,可作为团队自建 AI 知识层的参考。