https://bml.asia/tags/%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F/ Recent content in 推理加速 on 苏然的博客 Hugo zh-CN Thu, 17 Sep 2026 04:19:55 +0800 https://bml.asia/posts/sugon-paracache-kvcache-analysis/ Fri, 28 Aug 2026 15:27:10 +0800 https://bml.asia/posts/sugon-paracache-kvcache-analysis/ <p>　　中科曙光在数博会上推出了新一代词元加速方案 ParaCache，采用全国产化技术路线，并已在首个全国产十万卡 AI 超集群曙光 8000 的推理场景完成验证。要理解这个方案的价值，得先明白它打的是哪里——靶点是 <strong>KV Cache（键值缓存）</strong>，而要解决的头号问题，官方表述得很直白：&ldquo;中间结果调度和复用不畅导致的重复计算&rdquo;。配合赛迪顾问报告里的判断，KV Cache 正成为存储系统的新型负载：长上下文、多轮交互、高并发推理让它的规模持续膨胀，既占显存，又拖慢响应和集群并发。</p> https://bml.asia/posts/dflash2-qwen3-27b-speculative-decoding/ Wed, 26 Aug 2026 00:04:05 +0800 https://bml.asia/posts/dflash2-qwen3-27b-speculative-decoding/ <p>　　Qwen3.8-27B 开源短短十天，Hugging Face 下载量就破了 260 万，配套的加速生态也几乎同步成熟。其中最具讨论度的一件事，是 Inco AI 开源的 <strong><code>Qwen3.8-27B-DFlash2</code></strong> 投机解码（speculative decoding）草稿模型：它只有 <strong>1.92B 参数、约 3.85GB</strong>，配合主模型在 SGLang 上跑，官方模型卡给出的单并发输出吞吐最高达到自回归基准的 <strong>3.43 倍</strong>。网上随之出现“提速明显”“4–5 倍”的说法。作为长期使用大模型做服务的工程师，我的第一反应不是看峰值倍数，而是追问：这笔加速到底从哪来、在什么工况下成立、又会在哪里缩水。把投机解码的原理、DFlash2 的架构选择与实测数据叠在一起看，答案其实相当清晰，也远比标题里的倍数更有信息量。</p>