Topic
7 篇笔记
We find that frontier LLMs are surprisingly good at natively reading and writing neural network weights, well past what we’d expect from humans or conventional algorithms.
📝 摘要 本文是红杉资本对 Core Automation 联创 Jerry Tworek（前 OpenAI o1 reasoning 负责人）和 Rohan Anil（前 Google Gemini pretrain 负责人）的访谈。两人共同阐述了 Transformer 架构的根本局限——训练停止后无法真正持续学习——以及 Core Automation 寻找"Transformer 替代者…
Twenty-two thousand five hundred and eighty. That’s how many GPT-2 (2019) models fit inside KimiK3 (2026). We scaled up by a factor of 22,58...
A practitioner's guide to KV cache management. How a modern caching architecture cuts input token costs by 90% and speeds up LLM inference b...
📝 摘要 Google Research 发布了一种将 Multi-Token Prediction (MTP) 增层改造（retrofit）到已冻结的 Gemini Nano v3 生产模型上的方法，在不修改基座模型权重的前提下，大幅加速 Pixel 设备上的端侧 LLM 推理。该方法已在 Pixel 9 和 10 系列实机部署，使 AI Notification Summaries、Proo…
NanoWhale 项目深度解析：从零学习 DeepSeek-V4 架构 一句话总结：NanoWhale 是 HuggingFace 发布的一个教学项目，它用约 1.1 亿参数（110M）实现了一个"迷你版" DeepSeek-V4 大语言模型，从零开始训练，让你能用一张 H100 显卡就跑通完整的大模型训练流程。 一、这个项目在做什么？ 大模型训练的一般流程 训练一个大语言模型（LLM）通常分为…
You must have seen it every time you use ChatGPT or Claude that the first token takes noticeably longer to appear. Then the rest stream out ...