https://bml.asia/tags/%E6%8E%A8%E7%90%86%E9%83%A8%E7%BD%B2/ Recent content in 推理部署 on 苏然的博客 Hugo zh-CN Thu, 17 Sep 2026 04:19:55 +0800 https://bml.asia/posts/t4-35b-moe-offload/ Wed, 02 Sep 2026 16:44:45 +0800 https://bml.asia/posts/t4-35b-moe-offload/ <p>　　大模型对显存的需求，过去几年几乎是一条死规矩：多少参数的模型，就得配多大显存的卡，装不下就是装不下。但混合专家架构正在改写这条规矩，而且它改写的方式，恰好是显存不足的机器最需要的。这类模型的参数大头是几百位“专家”，每次回答只唤醒其中一小撮，其余绝大多数时间在休息；真正每次都要干活的注意力部分，参数量反而很小。这个结构天然就适合拆开摆放：休息的专家丢进大内存待命，干活的密集部分留在显存里全力跑，CPU 和 GPU 各干各擅长的事，谁也不委屈。稠密模型做不到这一点——它的每个参数每次都要参与计算，拆一半到 CPU 上，速度立刻崩掉。所以 MoE 不是“勉强能跑在低配机器上”，而是天生就该这么跑。</p>