非算法工程师也能看懂，推理框架的来龙去脉
文章系统解释推理框架在模型部署与智能体调用中的作用，并按请求处理链路梳理入口、调度、执行、缓存、集群和输出环节。文章梳理 vLLM、SGLang、TensorRT-LLM 等开源项目的发展，并解释 Prefill、Decode、KV Cache、连续批处理和 PD 分离等机制与延迟、吞吐及成本的关系。
推荐理由：文章沿着请求处理链路拆解推理框架，并联系智能体的长上下文负载，帮助读者理解缓存、调度与吞吐如何影响成本和响应体验。
#开源生态
阿里云云原生精选AI 评分7676
高德技术精选AI 评分7373 高德ABot-Recon：基于局部相对位姿估计的万帧级长序列流式三维重建
高德发布流式三维重建模型 ABot-Recon，使用固定 12 帧局部上下文，从连续 RGB 视频在线估计相邻相对位姿与稠密局部几何，并组合生成全局轨迹和场景。
推荐理由：将长序列任务拆成固定窗口内的局部预测与在线组合，为控制模型状态开销提供了可迁移思路，同时明确了累计漂移的边界。
已经到底了