跳到正文
只看技术深度#腾讯
10月19日周一
  1. 腾讯技术工程72

    从 BERT、GPT 到 Jev：一文看懂大模型架构的演进与分化

    文章梳理 Transformer 以来大模型架构的演进，指出 BERT、T5、GPT 三条路线的实质差异在于注意力可见范围和预训练任务。文中分析 2026 年 9 月 TypeSafe AI 发布的 Jev 在 prefill 后不进入 decode，直接读出各选项概率，并对照开源项目 Laya 说明去掉生成不难、难的是底层网络的理解能力。

    推荐理由：文章把 BERT、GPT 到 Jev 的架构差异落到注意力可见范围与输出方式两点上，便于读者理解判断类模型与生成式 LLM 的分工。

10月13日周二
  1. 腾讯技术工程62

    三万字长文：大语言模型从零入门

    腾讯技术工程发布近三万字长文，用猜数字和“他口渴了，于是喝了一杯____”等同一组例子，从预测下一个 token、熵与交叉熵讲到神经网络、Transformer 和从模型到 ChatGPT 的后训练流程。文章称不需要机器学习背景，数学只用到加减乘除和对数，带计算过程的公式可跳过。文中还梳理了幻觉、知识截止、上下文有限等局限，并引用 DeepSeek-R1 报告说明可验证奖励的推理强化学习。

    推荐理由：长文用同一组例子把预测下一个 token、交叉熵、Transformer 到后训练串成一条线，适合作为入门路径参考。