#Apple-Silicon

本地大模型：从跑起来到跑得好

0. 太长不读很多人玩本地大模型，卡住的地方不是模型太复杂，而是不知道自己卡在哪一层。你以为是在跑一个模型，其实是在同时做五个决定：硬件、内存、Runtime、模型选择、量化。每一层都有坑，每一层都可以单独优化，但它们又互相约束。后面所有问题，基本都能归到这五层里。两条读法：如果...