腾讯技术工程· 腾讯技术工程·· 2 天前精选AI 评分72
从 BERT、GPT 到 Jev:一文看懂大模型架构的演进与分化
AI 导读
文章梳理 Transformer 以来大模型架构的演进,指出 BERT、T5、GPT 三条路线的实质差异在于注意力可见范围和预训练任务。文中分析 2026 年 9 月 TypeSafe AI 发布的 Jev 在 prefill 后不进入 decode,直接读出各选项概率,并对照开源项目 Laya 说明去掉生成不难、难的是底层网络的理解能力。
推荐理由
文章把 BERT、GPT 到 Jev 的架构差异落到注意力可见范围与输出方式两点上,便于读者理解判断类模型与生成式 LLM 的分工。
来源:腾讯技术工程 · mp.weixin.qq.com