跳到正文

技术方向

模型推理与部署工程 最新动态

高并发推理引擎、延迟约束下的吞吐优化、算子加速、显存治理与在线服务基础设施。

41 条精选近 30 天 28 条共收录 42 条

更新

精选归档 · 第 3 页

4月8日周三第 41–41 条
  1. Anthropic Engineering87

    Claude Managed Agents 如何通过解耦“大脑”与“双手”实现扩展

    Anthropic 详解 Claude Managed Agents 的架构,将 Claude 及其执行框架、沙箱与工具、会话日志解耦,使各组件能够独立替换或故障恢复。持久化会话日志支持按需读取历史事件,凭证隔离在沙箱之外,执行容器也改为按需创建。采用这一架构后,首 token 延迟(TTFT)的 p50 下降约 60%,p95 下降超过 90%。

    推荐理由:将会话持久化、智能体执行循环与沙箱拆成独立接口,为长任务系统提供了可迁移的设计方法,使模型演进不必牵动全部基础设施。