非算法工程师也能看懂，推理框架的来龙去脉
文章系统解释推理框架在模型部署与智能体调用中的作用，并按请求处理链路梳理入口、调度、执行、缓存、集群和输出环节。文章梳理 vLLM、SGLang、TensorRT-LLM 等开源项目的发展，并解释 Prefill、Decode、KV Cache、连续批处理和 PD 分离等机制与延迟、吞吐及成本的关系。
推荐理由：文章沿着请求处理链路拆解推理框架，并联系智能体的长上下文负载，帮助读者理解缓存、调度与吞吐如何影响成本和响应体验。
#教程/实践
阿里云云原生精选AI 评分7676
阿里技术精选AI 评分7272 手把手带工程同学从零实现一个完整的 LLM（CS336）——Transformer 篇
阿里技术作者以工程背景学习斯坦福 CS336 课程，跟随 Assignment1 从零手写一个 Llama 风格 decoder-only Transformer，并逐模块拆解实现。
推荐理由：作者以工程背景从零手写 Transformer 各模块，并附参数量与 FLOPs 核算，可作为理解 LLM 底层结构的实操参考。
美团技术团队博客精选AI 评分7878 Agent评测漫谈 —— 由浅入深讲解Agent评测
美团图灵 Agent 评测团队将内部博客公开，由浅入深讲解 Agent 评测，涵盖评测是什么、如何建立评测体系，以及长程 Agent 框架对评测带来的变化。文章提出观测加评测等于持续迭代，主张评测需覆盖结果、过程、效率、风险四层，并用指标下钻与 Rubric 二元化实现人人一致、人机一致，文中称数字站长人机一致率达 99%，Beam 从 62% 提升到 92%。
推荐理由：美团图灵团队把两年内部评测实践公开，给出从指标体系到长程 Agent 评测基建的完整落地路径。
已经到底了