非算法工程师也能看懂，推理框架的来龙去脉
文章系统解释推理框架在模型部署与智能体调用中的作用，并按请求处理链路梳理入口、调度、执行、缓存、集群和输出环节。文章梳理 vLLM、SGLang、TensorRT-LLM 等开源项目的发展，并解释 Prefill、Decode、KV Cache、连续批处理和 PD 分离等机制与延迟、吞吐及成本的关系。
推荐理由：文章沿着请求处理链路拆解推理框架，并联系智能体的长上下文负载，帮助读者理解缓存、调度与吞吐如何影响成本和响应体验。
#推理
阿里云云原生精选AI 评分7676 京东技术精选AI 评分7575 Jev：当 AI 不再"写答案"，而是直接做决策
Jev 面向结构化问题返回有类型的决策及概率，京东技术围绕其与 LLM 的分工和生产接入展开解读。其 Choice、Score 和 Noul 三种输出分别用于选择、评分和带概率的二元判断，但类型正确不等于语义正确，概率输出也不能替代业务安全约束。落地建议从高频、边界清楚、可评测、可回滚的决策点开始，比较规则、传统分类器、LLM 结构化输出与 Jev，并经过离线评测、影子运行和逐步放量。
推荐理由：将决策模型接入拆成契约定义、基线比较和影子运行，把类型约束、概率评测与执行权限分开处理，可迁移到边界明确的自动化节点。
火山引擎Agent社区精选AI 评分5858 DeepSeek-V4.1-Flash 新版本登陆火山方舟，效果无损“经济版”八折上线
火山方舟上线 DeepSeek-V4.1-Flash-1017，相较 9 月 10 日首发版本，Agent 与代码能力提升，在 Terminal-Bench 4.0、DeepSWE v1.1、ProgramBench 等基准上较上版显著提升，任务运行时间与输出长度明显缩短。
推荐理由：火山方舟上线 DeepSeek-V4.1-Flash-1017，并给出标准版与经济版同权重、8 折计费的差异，便于对比选型。
腾讯技术工程精选AI 评分7272 从 BERT、GPT 到 Jev：一文看懂大模型架构的演进与分化
文章梳理 Transformer 以来大模型架构的演进，指出 BERT、T5、GPT 三条路线的实质差异在于注意力可见范围和预训练任务。文中分析 2026 年 9 月 TypeSafe AI 发布的 Jev 在 prefill 后不进入 decode，直接读出各选项概率，并对照开源项目 Laya 说明去掉生成不难、难的是底层网络的理解能力。
推荐理由：文章把 BERT、GPT 到 Jev 的架构差异落到注意力可见范围与输出方式两点上，便于读者理解判断类模型与生成式 LLM 的分工。
美团技术团队精选AI 评分8888 SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化
美团技术团队公开了面向搜索推荐场景 SLM 有界生成负载的推理引擎，以静态 DAG 组织完整业务请求，结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享与选择性 FP8 压缩调度和计算开销。
推荐理由：美团公开了面向搜推 SLM 有界生成负载的推理系统设计，含静态 DAG 分层架构与逐项优化收益数据。
美团技术团队博客精选AI 评分8888 SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化
美团技术团队公开了面向搜索推荐场景 SLM 的推理引擎，以静态 DAG 组织完整业务请求，结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享和选择性 FP8 压缩调度与计算开销。
推荐理由：美团公开了面向搜推有界生成负载的推理引擎设计，含分层 A/B 数据与适用边界，可供同类低延迟场景参考。
阿里技术精选AI 评分7272 手把手带工程同学从零实现一个完整的 LLM（CS336）——Transformer 篇
阿里技术作者以工程背景学习斯坦福 CS336 课程，跟随 Assignment1 从零手写一个 Llama 风格 decoder-only Transformer，并逐模块拆解实现。
推荐理由：作者以工程背景从零手写 Transformer 各模块，并附参数量与 FLOPs 核算，可作为理解 LLM 底层结构的实操参考。
阿里技术精选AI 评分7272 深度解析 RSI：当 AI 开始实现自我迭代提升
阿里技术系统梳理了 RSI（递归自我改进）的概念边界，指出它与 Agent 自进化、持续学习的关键区别在于改进必须由 AI 自身完成。
推荐理由：文章把 RSI 从概念争议到 DGM、SEAL、AlphaEvolve 等代表工作串成一条线，并给出可复用的六步闭环框架。
腾讯技术工程精选AI 评分6262 三万字长文：大语言模型从零入门
腾讯技术工程发布近三万字长文，用猜数字和“他口渴了，于是喝了一杯____”等同一组例子，从预测下一个 token、熵与交叉熵讲到神经网络、Transformer 和从模型到 ChatGPT 的后训练流程。文章称不需要机器学习背景，数学只用到加减乘除和对数，带计算过程的公式可跳过。文中还梳理了幻觉、知识截止、上下文有限等局限，并引用 DeepSeek-R1 报告说明可验证奖励的推理强化学习。
推荐理由：长文用同一组例子把预测下一个 token、交叉熵、Transformer 到后训练串成一条线，适合作为入门路径参考。
美团技术团队博客精选AI 评分8888 MTFM：美团统一推荐基座大模型在外卖多业务场景的落地实践
美团技术团队提出统一推荐基座大模型 MTFM，在 MTGR 基础上首次实现外卖多个主要业务的统一精排模型，相关工作已被 KDD 2026 收录。模型以异构 Tokenizer 与动态掩码实现多场景特征免对齐，用混合注意力与 Target Scale-Up 提升 Scaling 能力，并借鉴 LLM 的初始化、Muon 优化器等实践改善深层网络训练。
推荐理由：美团公开了推荐基座模型从多场景统一建模到训推优化的完整工程路径，可看工业级 Scaling 如何落到业务指标。
腾讯技术工程精选AI 评分6262 腾讯15年资深后台工程师，转战大模型推理的抉择
腾讯资深搜索后台工程师吴银光讲述自己2025年初放下T12与管理头衔、转入大模型推理工程团队的经历与思考。他给出推理工程入门路径，包括建立模型结构与推理体系认知、阅读nano-vLLM和mini-sglang源码、深入PD分离与分布式KV Cache等方向，并设计同批次共享前缀、Beam Search等自检练习。
推荐理由：一位15年后台工程师复盘转岗大模型推理的路径与自检方法，并给出AI Infra与通用Infra同源分流的判断。
美团技术团队博客精选AI 评分7878 美团智播——数字人直播技术创新与实践
美团技术团队介绍面向本地生活场景的AI数字人直播方案美团智播，围绕形象生成、动作驱动、语音手势协调与推理加速四项技术展开。方案支持真人1:1复刻、30秒生成直播素材、3分钟完成开播配置，过去一年月日均GTV同比增长82.12%，开播场次提升11倍。其中Glance2Gaze实现75%视觉token压缩与2.5倍推理加速，将并发成本降低60%以上。
推荐理由：美团智播团队系统拆解数字人直播从形象生成到万路并发的四项自研技术，可作为多智能体实时系统的工程参考。
美团技术团队博客精选AI 评分7272 GeoRA: 为RLVR设计的LoRA——ACL 2026杰出论文解析
美团履约技术团队与北京大学合作的《GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR》入选 ACL 2026 杰出论文，全球共 18 篇入选。
推荐理由：美团与北大提出面向 RLVR 的低秩适配方法 GeoRA，读者可了解其几何先验设计与在业务 Agentic RL 中的落地数据。
已经到底了