前OpenAI推理负责人JT与Gemini pretrain负责人Rohan: Continue learning的未来
📝 摘要
本文是红杉资本对 Core Automation 联创 Jerry Tworek（前 OpenAI o1 reasoning 负责人）和 Rohan Anil（前 Google Gemini pretrain 负责人）的访谈。两人共同阐述了 Transformer 架构的根本局限——训练停止后无法真正持续学习——以及 Core Automation 寻找"Transformer 替代者"的使命。
核心概念： Transformer 的核心瓶颈在于"计算深度"受限（约100层），现有两条适应路径（上下文学习容量有限、持续微调遭遇灾难性遗忘）均无法让模型在部署后持续学习，亟需能在架构层面表达"学习"的新算法。
关键技术栈 / 关键要点：
- Transformer 的天花板 — 训练停止后模型无法吸收新事件、新关系、新任务，必须穿过实验室重训才能更新，这是结构性的而非工程性的局限
- 计算深度不足 — 当前 Transformer 约100层，CoT 推理是变通方案但效率极低（逐 token 生成），如何显著提高计算深度效率是核心方向
- RL 不是终点 — 强化学习只是"从经验学习"的数学形式之一，人类大脑有多种学习机制（踢足球 vs 学数学），未来会出现更丰富的经验利用方法
- 预训练与 RL 应端到端联合优化 — 两者当前割裂，联合优化可能带来一个数量级的效率提升；这既是新训练流程，也是新学习算法
- Kernel Generation 是短期高优 — 让模型自动编写 GPU kernel，把"新架构想法→最高 TOPS 运行"的时间压到最短，是加速实验迭代的基础
- 优化与架构一体两面 — 更强的优化器（如 Shampoo）能训练更难但潜力更大的模型，弱优化器则迫使我们退回容易训练但能力有限的架构
关键结论 / 实践建议： AGI 的真正标志是"无需人类参与就能自我改进的模型"；当前行业最成功的模式仍是"人类+LLM"，纯模型独立运行远远不够。大实验室因短期竞争压力无法投入足够资源探索 Transformer 之外的方案，Core Automation 填补的正是这一生态位。
Rice 米饭思考 2026年7月30日 23:37
这期是红杉资本对Core Automation这家Neo Lab联创的一场最新访谈。其中，创始人Jerry Tworek是此前chatgpt reasoning team的一把手（即做出o1 reasoning/cot系列模型的核心团队）、在OpenAI里也是最有名的人物之一，但随着25年以来OpenAI内部pretrain的重要性回归、加上这个团队度过了最核心的frontier research的阶段，因此能拿到的算力和资源也有所下降。
而联创Rohan Anil则是前Google Gemini pretrain的核心负责人，在TPU硬件优化上有非常丰富的经验，也为下文他们近期正攻关的方向埋下一个伏笔。
这家公司定位于做continue learning和automated research，即挑战transformer的下一代算法架构。他们认为，“今天 codex 和各种 coding workflow automation 都非常了不起，但它们仍不能把所有任务自动完成。”
Core Automation对外披露信息非常少，但据了解continue learning也仍然在非常早期的early research探索阶段、远远没有看到明确的方向和相对收敛的技术路径。虽然没有告诉我们
尤其是，访谈里对transformer局限性的梳理非常精彩且简明直接 —— 虽然没有完整告诉我们continue learning的解决思路是什么，但是却清晰阐述了要解决的“痛点”是源自哪里、定义了最基础的research question初心。
而且反常识的是，他们抛出来的一个core automation短期高优攻关的方向，并不是模型算法本身、而是如何让模型自己写kernel：
未来六个月，我们会优先攻克 kernel generation。做新架构不仅要看理论是否优越，还要看它能否在硬件上高效运行，并被用户——包括我们自己——真正使用。我们有一批 Blackwell GPU，用于训练和推理；
目标是把“产生一个新架构想法”到“让它以最高 TOPS（每秒万亿次操作）运行在 GPU 上”的时间压到最短。
这似乎意料之外、又非常情理之中，本质上是怎么极致提升 “实验迭代速度”。这是一切fancy算法创新的基础。
并且，整个访谈贡献了大量灵魂拷问、以及与人脑的类比、对计算本质的理解，真的很值得一读。
访谈全文（脱水版）：
一、重新审视Transformer：架构瓶颈与替代路径
Q：想替代 Transformer，第一步是要真正欣赏它把我们带到了多远。你这句话到底是什么意思？
A：“真正欣赏 Transformer”，就是先理解它真正擅长什么，避免把力气浪费在它已经解决得很好的问题上。做架构研究，必须同时看见它的强项和弱项。现在大量工作都在让 Transformer 更便宜、更高效，却很少有人认真思考怎样让它更强、更有表达力。
过去六年，我们一直在同一套框架里增加参数，反复堆叠 MLP（多层感知机）和注意力机制。大规模预训练和大规模强化学习已经非常成熟，模型也被训练得越来越大、越来越强。但机器学习的下一步，限制因素可能不再只是规模，而是架构本身。
今天的 Codex 和各种 coding workflow automation 都非常了不起，但它们仍不能把所有任务自动完成。如果 Core Automation 的目标真是自动化任务，就必须继续追问：我们还缺什么样的模型、系统和能力？这才是我真正关心的研究问题。
Q：你为什么会把问题定位在架构本身？
A：核心张力在于：模型在实验室里训练，却要在现实世界工作。我曾经是坚定的 RL maximalist（强化学习至上论者），很早就相信把强化学习真正做大，是通向 AGI 的必要台阶。看着 LLM 从 GPT-3 扩展到 GPT-4，我一直认为 RL 还做得太少；等 RL 真正规模化，很多问题会自然解决。到 2024 年，如果有人问我 AGI 何时到来，我可能会回答“2025”，因为当时确实觉得已经很接近了。
后来模型一代代变好，benchmark分数不断上涨，现实世界的任务却没有同步被解决。我逐渐意识到，训练数据分布和评测 benchmark 往往是同一枚硬币的两面；而真实任务更脏、更乱、更模糊，也难以被训练数据完整复现。训练大模型的人一方面缺少足够难、足够好的训练数据，另一方面又远未覆盖现实任务的完整分布。
因此，模型必须能在测试时学习，能在真实用户数据和真实任务上继续学习。现有 Transformer 大致有两条适应路径。第一条是上下文学习：它不会灾难性遗忘，数据效率也不错，但容量和机械结构都难以扩展。以 Codex 为例，使用约二十分钟后就需要压缩、整理上下文；如果系统真正能学到的只有这点上下文，远远不够。
第二条是持续微调。理论上可以让模型边用边学，但灾难性遗忘和极低的数据效率至今没有得到轻易解决。我们需要一种能在架构层面表达“学习”的新算法，支持更长时间尺度和更长期的适应过程。
Q：这种新架构还会是某种 Transformer-like 的东西吗？它如何 scale？
A：这里很大一部分是经济性问题，而不是技术上只有一条路。LSTM（长短期记忆网络）当然也可以 scale，只是很少有人愿意真正沿这条路投入巨量资源，而且它的缩放曲线确实不如 Transformer。Scaling law 的研究比较过二者，Transformer 的表现更好。
可以想象一个没有 Transformer 的平行世界：人们可能会继续扩展 LSTM，也能得到一些模型，但训练成本更高、产品效果更差，市场很可能不会为超大 LSTM 买单。Transformer 的神奇之处，是它在经济上成立——训练成本低于最终创造的收入价值。机器学习并不天然保证这一点，而 Transformer 做到了。
更广泛地说，许多架构可能都能被 scale。过去研究界对“单纯扩大规模”有心理抵触，更愿意在同一算力预算下追求更高效的算法。OpenAI 当年的反主流选择，是先验证能否持续灌入更多算力并继续获得提升。也许很多新架构只有跨过某个算力阈值，才会显现真正有趣、真正有用的能力；强化学习也有类似的能力基线。
Q：既然新架构需要较高的算力门槛，为什么不留在大研究机构，而要出来创业？
A：关键是时机。今天最成功、最大的实验室都卷入了极其激烈的市场竞争。如果继续扩展 Transformer 就能争取下一个季度，它们很难投入足够的注意力和组织能量，去做一件可能一两年后改写领域、短期却未必有回报的事。
我与几乎所有大实验室交流后的共同感受是：它们没有足够强的意愿认真尝试 Transformer 之外的方案；规模较小的实验室又在模仿头部机构。
整个行业都在发布 coding agent，做同一类事情。Core Automation 想填补的，正是探索不同路径和不同方法的生态位。
Q：你亲历了 Transformer 被发明的环境，也同意它终将被替代吗？
A：我同意。Transformer 刚出现时，Google 内部并没有多少人真正意识到它有多重要。Ashish、Noam 等人做出 Transformer 时，我在做 online distillation，两项工作还出现在同一个内部研究会上。最初大家只把它视为一篇聚焦机器翻译的论文：它先在翻译任务上击败了 LSTM。直到 GPT-2、GPT-3 之后，行业才真正看清它在通用语言建模上的价值。
架构的核心问题是如何花费计算。Transformer 的确是一种高效使用计算的方法，但今天大量算力消耗在推理阶段，尤其是逐 token 输出。预训练给模型固定上下文长度和基础能力；RL 发现能力不足后，通过生成更多 token 换取更大计算深度。这种方式非常低效，因为计算只能一个 token 一个 token 地增加。
推测解码等工程优化，本质上是在给逐 token 生成机制打补丁。
Transformer 在计算分配上还有其他局限：行业曾长期训练超大 dense model（稠密模型），又花两三年才把 MoE（混合专家模型）和稀疏性路线做成熟。
真正值得打开的问题，是如何提高计算深度；一旦认真追问，就会出现很多新的架构方向。
Q：Transformer 的“计算深度太差”具体是什么意思？
A：今天训练的大多数 Transformer 并不深，通常最多约一百层；而“深度学习”本应追求更深的表征。行业虽然尝试过更深的网络，却没有证明已经能稳定学出极深的表示。
思维链推理，以及通过 RL 强化模型展开思维链，本质上是在用另一种方式增加计算深度：每多生成一个 token，就多走出一段计算路径。
预训练架构的瓶颈是“层数 × 序列长度”，拉长序列确实能让推理时缩放生效、提高能力，但代价是必须逐 token 生成更长内容，效率很低。如何显著提高这部分效率，是我们正在探索的明确方向之一。
Q：你们如何判断 Transformer-based 架构还能走多远、何时触顶？
A：这取决于我们拿 Transformer 做什么。预训练擅长把互联网知识蒸馏进模型，RL 则把希望模型执行的 workflow “烤”进模型。换句话说，我们把人类知识、知识之间的关系，以及已有训练数据覆盖的任务压缩进模型。只要给它足够多的人类知识、工作流和训练数据，它会非常强。
真正的问题是训练停止之后会怎样。假设 OpenAI、Anthropic 今天停止训练，手里的 Transformer 就是最终版本；几个月或几年后，它会因新事件、新关系、新任务、新代码库和新工具不断出现而逐渐掉队。Transformer 的很多价值，来自有价值的信息在训练阶段已经存在于数据里；现实变化后，它无法真正吸收这些变化。
它并非完全没有适应能力，但这种适应有限且不够灵活。它更像一个非常强的工具：人类理解边界，负责调度、写 prompt、收集失败样本，再交回实验室重训。整个闭环仍必须穿过实验室，而不是系统在现实环境里持续更新自己。这就是它的天花板。
二、从经验学习：强化学习不是终点
Q：你怎么看 Rich Sutton 和 David Silver 的《The Age of Experience》？你们的观点一致吗？
A：“经验时代”很有启发，但也容易被误解。强化学习并不是一条全新的路：它早期能用于西洋双陆棋，后来能打围棋、打《星际争霸》，今天又用于编程。每一次，本质上都是模型获取自己的经验并从中学习。真正需要澄清的是，强化学习绝不是“从经验学习”的唯一方式。
预训练更像行为克隆、模仿和静态数据压缩。今天很多预训练甚至已在蒸馏旧模型，因为互联网上越来越多 token 是 AI 生成的。RL 是经验学习的一种数学形式，但不是全部。当前 RL 偏爱并行 rollout，通过多份平行世界降低方差、做横向比较，这与人类高效而丰富的经验学习方式并不相同。
大脑也不是只有一种学习算法。踢足球很像强化学习：不断微调动作，根据结果做 self-reinforcement；学习数学则不同，人会阅读困难概念、反复深入思考，直到不同概念真正连接起来。两者都属于从经验中学习，机制却完全不同。
我们已经在以前所未有的规模投入算力做经验学习，但 RL 不是终点。未来几年一定会出现更丰富的方法，更好地利用经验数据。
Q：要获得数量级的计算效率和数据效率提升，突破口在哪里？
A：第一步是测量。今天的预训练很像压缩任务：盯着 perplexity，通过增加参数和算力持续降低指标。这对建立“世界先验”有价值，却不是终局。
我们应该端到端追问模型最终拿来做什么。模型完成预训练后再进入 RL，原本漂亮的 perplexity 指标往往会被改变，这说明，预训练和 RL 不应被视作两套完全割裂的优化问题。若能真正联合优化，单这一步就可能带来一个数量级的提升；它既可以被理解为新的训练流程，也可以被理解为新的学习算法。
我从 logistic regression 优化器和大规模线性求解器做起，后来投入神经网络训练算法，并参与把 Shampoo 优化器放大到大规模训练。起初很多人认为继续用 Adam 就够了，但我认为优化器恰恰值得投入：计算应该被用来让训练本身变得更好。相关思路后来用于 Gemini 1.5 Flash，社区也出现了 Soap 等后续工作。即使如此，Shampoo 仍没有充分使用训练过程中的全部信息，理论上仍有提升空间。
优化方法还会决定能够发现什么样的架构。残差连接有助于训练深网络，但已有研究者借助更强的优化方法拿掉残差连接，学出更深表示。因此，优化和架构是一体两面：更强的优化器可以训练更难训练、但潜力更大的模型；弱优化器则迫使我们退回容易训练、能力也有限的架构。
RL 同样在低效使用计算。为了得到一点反馈，模型要先解出很长的思维链，解码大量 token，最后只把少量监督信号传回网络。这里也存在数量级改进的机会。
Q：机器学习系统最终会接近甚至超过生物系统的学习效率吗？
A：至少在今天的硬件上非常不可能。人脑把模型、计算、学习算法和硬件共同生长出来：成长过程中，电路和学习机制一起被塑形。神经网络则不同，硬件不变、网络结构大体固定，学习效率很低，必须依靠大规模并行和大量副本，才能把很少的信息真正灌进去。
除非我们开始设计更接近生物系统的硬件，甚至转向更类模拟电路的方向，同时解决误差校正和信息传输等问题，否则很难在学习效率上接近生物体。
Q：“预训练和 RL 应该端到端优化”听起来很自然，为什么大实验室没有走到这里？
A：它并没有那么显然，因为这是两个很不一样的优化问题。RL 从先验模型出发做 rollout，方差更高；预训练使用大批次、更高并行度，每单位时间的算力吞吐也更大。两套训练过程天然不同，简单拼接不会自动成功。必须先理解朴素合并为何行不通，才可能继续推进。
大实验室的优秀研究者往往也认为这值得探索，但它很难进入最高优先级。组织必须赶下一个模型版本和发布周期，而 token 本身又不够有粘性，于是公司天然倾向短周期竞争，而不是投入六个月或一年进行真正长期的研究。
三、AGI 与自动化实验室：让系统持续自我改进
Q：你们说要做世界上最自动化的实验室，具体想怎样自动化研究？
A：“自动化”不是把人从闭环中移除，而是最大化每个人的 agency，让人在相同时间里完成远超以往的工作。走路、自行车、汽车让人的移动范围不断扩大；农业机械让一个人能管理更大的土地。研究也是同样的逻辑。
今天的 coding agent 已经改变研究工作：一个研究员能完成更多事情，想法迭代和验证数据的速度都与过去不同。
与其在旧组织结构中艰难迁移，不如从一开始就按这个时代重建原生流程，让每位研究员尽可能快地迭代想法。
我们正在重新搭建整套深度学习栈，逐个审视每个操作能否换一种方式。
哪怕每天只多跑一个实验，也比过去快很多；未来或许每天能多跑 10 个、200 个实验。通过更快的搜索、优化和迭代，我们有机会更快找到真正有效的新东西。
团队本身非常 agent-native、automation-native；这也是一次组织实验：小团队把自动化推到极致，究竟能走多远。
Q：什么时候才算真正到达 AGI？
A：OpenAI 对 AGI 的定义，是在具有经济价值的工作中超过所有人类的系统。但我更关心另一个问题：如果停止训练，系统还能维持甚至提高现有自动化水平，还是会逐渐漂移、掉队？
对我来说，AGI 更像一个无需人类参与就能自我改进的模型。只有到那时，才可以更认真地说触及了真正意义上的 AGI，因为“改进 AI 模型”本身就是一种人类能够完成、且具有很高经济价值的工作。
现实是，把人彻底移出闭环异常困难。我几乎找不到 LLM 真正把人完全踢出循环的任务。今天最成功的模式仍是“人类 + LLM”，纯模型独立运行远远不够。
2024 年和 2025 年初的进展也让我看到，沿当前路径继续前进，并不会自然抵达自我改进。我们需要严肃研究模型如何在测试时进行更深层的学习和适应。
Q：Core Automation 愿意公开的“大计划”是什么？
A：未来六个月，我们会优先攻克 kernel generation。做新架构不仅要看理论是否优越，还要看它能否在硬件上高效运行，并被用户——包括我们自己——真正使用。我们有一批 Blackwell GPU，用于训练和推理；
目标是把“产生一个新架构想法”到“让它以最高 TOPS（每秒万亿次操作）运行在 GPU 上”的时间压到最短。现有 coding agent 与人类协作已经能走很远，但还不够。
我们曾与 GPU Mode 举办 QR kernel competition。QR 是经典线性代数操作，在 Shampoo 等优化器中很常见。针对 B200 节点上关心的矩阵 shape，现成 cuSolver 能达到尚可效率；加上人类高手和搜索循环，可能获得 7 倍提速。我们后来花了四周，在 coding agent 上投入约 10 万美元，才把 kernel 做到比基线快 60 倍。
Kernel 指直接运行在 GPU 上的底层计算程序，负责高效执行矩阵乘法、卷积、QR 分解等具体数学运算。
这个案例说明，今天的前沿模型仍无法独立解决此类问题：Anthropic、OpenAI 和 Gemini 的模型都做不到自动产出那个快 60 倍的 kernel。只要这个瓶颈存在，就无法形成足够快的“新架构—实现—验证”内循环。
四、Core Automation 的路线图：Kernel与持续学习架构
Q：为什么 kernel 是关键？是不是要最大化每个 flop 的智能产出，就必须先跨过这一关？
A：差不多是这个意思。我过去有三个项目，其中两个已不同程度进入产业界。
第一个是 second-order method（二阶方法），kernel 是其中的瓶颈。在 Google 这样的机构里，不可能多花 10 倍算力只换来 2 倍收益；可接受的方案可能是最多多花 20% 预算，获得 2 倍提升。很多关键操作很新，没有成熟实现。当时能写出深层 XLA（加速线性代数）底层代码并真正跑起来的人极少，而且花了两年才做成。
第二个方向是 2020 年探索的 engram memory：用额外 memory 替换 Transformer 的一部分参数，内部曾有小规模部署。但它需要高效的稀疏聚集与分散，也要求硬件层支持。
我们与 TPU 团队讨论过很多次，最终没有落地。后来 DeepSeek 做出改进版 engram，并展示 scaling law，证明 memory 机制确实可以替换一部分结构。
这再次说明，如果不会写 kernel，很多算法状态空间根本无法进入。使用 cuSolver 的 QR 与竞赛优胜者实现的、快 60 倍的 QR，代表两个完全不同的世界。一旦跨过去，许多新的训练和优化算法才有资格被使用。QR 对分解、优化器乃至 Transformer 训练都很基础，而掌握这套技能的人极少且分散；理想状态是让模型也具备这种能力。
从更高层看，Core Automation 是一个为构建“部署后仍能持续学习的模型”而成立的实验室。我们认为 Transformer 的结构不具备真正的持续学习能力，因此必须寻找不同架构，也就是寻找某种“Transformer 替代者”。
为此，我们要把实验室自动化到极致，以尽可能快的速度大规模构建和验证实验。我们不会盲目暴力搜索，而会带着较强的 prior（先验）高效探索架构空间。无论是 kernel、大规模训练还是新架构尝试，最终都服务于同一目标：找到能够持续学习、替代 Transformer 的架构。
Q：如果找到更好的架构，你们如何判断“就是它了”？
A：研究中总有一个时刻：一张图上的曲线形状与其他结果完全不同，你一看就知道方向对了。但那张图往往出现得很晚；在真正跑出来之前，研究者通常已经隐约知道自己在寻找什么。
深度学习系统很精细，往往要五个环节连续做对，系统才会真正工作。你会反复尝试，直到那张期待的图出现。我们明确寻找的是能在测试时学习、能在长期尺度适应的系统；一旦看到有意义的长期适应能力，就是巨大信号。
一个直观的评估方式，是看系统能否每天都更擅长完成 Core Automation 科学家的工作。我们甚至开玩笑说，全团队可以一起度假一周，看看实验室是否会自行产出更好的东西。
Q：如果度假回来，实验室真的自行产出了更好的东西呢？
A：那就把假期延长两倍、再四倍，直到永久度假。