NanoWhale 项目深度解析：从零学习 DeepSeek-V4 架构
NanoWhale 项目深度解析：从零学习 DeepSeek-V4 架构 一句话总结：NanoWhale 是 HuggingFace 发布的一个教学项目，它用约 1.1 亿参数（110M）实现了一个"迷你版" DeepSeek-V4 大语言模型，从零开始训练，让你能用一张 H100 显卡就跑通完整的大模型训练流程。 一、这个项目在做什么？ 大模型训练的一般流程 训练一个大语言模型（LLM）通常分为…
Topic
#三
1 篇笔记