KV Cache Engineering for LLM Serving, clearly explained
Everything you need to understand why the KV cache grows, the 12 ways models and serving engines reduce it, what each technique actually sav...
Topic
#MLA
5 篇笔记
Efficient Decode Context Parallelism with vLLM for Long Context Workloads
Decode Context Parallelism (DCP) in vLLM shards KV cache across GPUs by sequence dimension, enabling 3× higher throughput on long-context agentic workloads comp
22580: From GPT2 to Kimi3, Explained
Twenty-two thousand five hundred and eighty. That’s how many GPT-2 (2019) models fit inside KimiK3 (2026). We scaled up by a factor of 22,58...
从 305 GB 到 7.4 GB：大模型 KVCache 架构演进全景
五一本打算更新一年前写的开源引擎 KVCache 实现文档，但梳理下来发现，光是 KVCache 演进的理论部分就已足够撑起一篇独立文章。在 Agent 改变搜索习惯、重塑软件行业的今天，多轮交互带来的长上下文让 KVCache 持…
NanoWhale 项目深度解析：从零学习 DeepSeek-V4 架构
NanoWhale 项目深度解析：从零学习 DeepSeek-V4 架构 一句话总结：NanoWhale 是 HuggingFace 发布的一个教学项目，它用约 1.1 亿参数（110M）实现了一个"迷你版" DeepSeek-V4 大语言模型，从零开始训练，让你能用一张 H100 显卡就跑通完整的大模型训练流程。 一、这个项目在做什么？ 大模型训练的一般流程 训练一个大语言模型（LLM）通常分为…