跳到正文
9月22日周二
  1. 腾讯技术工程62

    腾讯15年资深后台工程师,转战大模型推理的抉择

    腾讯资深搜索后台工程师吴银光讲述自己2025年初放下T12与管理头衔、转入大模型推理工程团队的经历与思考。他给出推理工程入门路径,包括建立模型结构与推理体系认知、阅读nano-vLLM和mini-sglang源码、深入PD分离与分布式KV Cache等方向,并设计同批次共享前缀、Beam Search等自检练习。

    推荐理由:一位15年后台工程师复盘转岗大模型推理的路径与自检方法,并给出AI Infra与通用Infra同源分流的判断。