DeepSeek-V4.1-Flash：为什么读输入只激活 8B，写输出要 16B

普通 decoder-only 模型，为什么输入和输出一样贵？

先对齐口径。激活参数指一个 token 前向时真正参与矩阵乘法的参数：每层的 attention 投影 + 1 个共享专家 + 路由选中的 6 个专家，再乘以它经过的层数。V4.1-Flash 在 prefill 和 decode 下的路由规则完全相同（都是 top-6），所以 8B 与 16B 的差别只能来自 token 经过的层数。Engram 的 196B 是按 n-gram 哈希查的记忆表，像 embedding 一样只做查表，不计入激活参数。

那么，普通模型里输入 token 为什么必须走完所有层？看看两类 token 在一次请求里各自要做什么：

问题在于，标准结构里第 l 层的 KV 由第 l 层自己的 hidden state 投影而来（KV_l = H_l · W_l）。想在第 40 层留下 KV，就得先把这个 token 一路算到第 40 层。于是「留 KV」和「做预测」一样贵，前代 V4-Flash 的 13B 激活对输入、输出一视同仁。

agent 负载把这个问题放大了：

• 输入远多于输出：每次工具调用都会把文件内容、命令输出、网页塞回上下文，新增的 prefill 量往往远大于每轮生成。
• 缓存未命中就得重算：前缀缓存过期或新内容进来，都要做一次完整深度的 prefill。
• KV 越存越大：长上下文的全局 KV 占满 HBM，为前缀复用而持久化的 KV 又占 SSD 容量和传输带宽。

报告的判断是：稀疏注意力已经把长序列的注意力计算压得很低，现在剩下的瓶颈是 prefill 本身的计算量，以及 KV 的存储和搬运。V4.1-Flash 的结构改动分别针对这两项。

两个参照：前代 V4-Flash 和 YOCO

V4.1-Flash 的改动有两个参照物：V4-Flash 是它要压缩的基线，YOCO 提供了「上半网络复用下半网络的 KV」这个核心思路。

▸

NeurIPS'24YOCO：上半网络只读下半网络留下的一份 KV

角色：CED 的直接灵感。前 L/2 层（self-decoder，只用滑窗等高效注意力）的输出被投影成全网唯一一份全局 KV，后 L/2 层（cross-decoder）只用 cross-attention 读它，因此 prefill 可以在中间层精确地提前退出。缺口：为此砍掉了下半网络的全局注意力，上半网络也没有任何逐层的 KV。

YOCO 原论文的推理示意：上下文 token 只跑 self-decoder 并写入 KV cache，cross-decoder 在 prefill 时被跳过。

展开说明 ▸

• 底部 Self-Decoder：前 L/2 层，只用高效自注意力（滑窗或 gated retention），自身缓存大小固定，不随长度增长。
• 中间 KV Cache：用 self-decoder 的输出 X^{L/2} 一次性投影出全局 K、V，全网只存这一份，即「You Only Cache Once」。
• 左半 Prefilling：上下文 token 跑完 self-decoder 就已经生成了全部 KV，上半的 Cross-Decoder 灰色标注为 Skipped。
• 右半 Generation：新 token 才进入 cross-decoder，用 cross-attention 读这份共享 KV，输出下一个 token。
• 一句话：cross-decoder 没有任何依赖本层 hidden 的缓存，所以 prefill 提前退出是精确的，不改变输出。

方法：YOCO 把 L 层 Transformer 分成两半。下半 self-decoder 处理输入并产出 X^{L/2}；上半 cross-decoder 的每一层都用 cross-attention 读同一份由 X^{L/2} 投影出的 K̂、V̂。KV 缓存从 O(N·L) 降到约 O(N)，prefill 时上下文 token 无需进入上半网络。

与 CED 的区别（这正是 V4.1-Flash 声称改进的地方）：

• 下半网络：YOCO 只给 self-decoder 高效的局部或线性注意力；CED 的 encoder 保留 CSA2 全局稀疏注意力，有自己的全局 KV。
• 上半网络：YOCO 的 cross-decoder 没有自己的 KV；CED 的 decoder 每层仍有本层的 SWA KV，局部计算深度更深。
• 代价：正因为 decoder 保留了逐层 SWA，CED 的 prefill 提前退出不再精确，需要靠下文的 SWA Bounded Replay 近似补上。

YOCO 原文：You Only Cache Once: Decoder-Decoder Architectures for Language Models ↗

把两者放在一起看：V4-Flash 表达力足，但每个输入 token 都要走满深度；YOCO 输入便宜，但为此砍掉了下半网络的全局注意力和上半网络的逐层 KV。V4.1-Flash 想两头兼得：encoder 保留全局稀疏注意力，decoder 保留逐层 SWA，只把「decoder 的全局 KV」这一项改成从中间层投影。

CED：让 decoder 的全局 KV 只依赖 encoder 的输出

CED 只改了一件事：decoder 各层全局注意力的 KV 从哪里来。先看全局结构，再逐步拆开。

原论文 Figure 3：40 层被切成左侧 20 层因果 encoder 与右侧 20 层 decoder；encoder 最后的隐状态经标注 CED 的连线，进入 decoder 唯一的 Full 层生成全局 KV。

展开说明 ▸

• 左框 Causal Encoder（第 1–20 层）：底部的文本 / 视觉 embedding 经 Single-Pass mHC 展开为 4 路残差流。前 2 层（×2）只有 SWA + MoE；之后 3 组（×3），每组 1 个 CSA2(2, Full) + 5 个 CSA2(2, Reuse)。括号里的 2 是压缩比：每 2 个 token 合成一个全局 KV 条目。
• Engram（左下）：两处箭头接入 encoder。报告把它放在第 1、14 层（从 0 计数），即第 2 个 SWA 层和第 3 组的 Full 层，按 token 的 n-gram 查表，把记忆向量加进残差流。
• Enc. Hidden States → 右框底部：一条线作为 decoder 的输入残差；另一条标着 CED 的线进入 CSA2(1, Full)。这就是「decoder 全局 KV 由 H_20 投影」。
• 右框 Decoder（第 21–40 层）：第一组是 1 个 CSA2(1, Full) + 3 个 Reuse；之后 4 组（×4），每组 1 个 CSA2(1, Reindex) + 3 个 Reuse。压缩比 1 即不压缩。
• Hierarchical Sparse Indexer → Candidate Pool：Full 层打分时顺带圈出一个候选池，回送给每个 Reindex 层，让它们只在池内重选 Top-K。
• 顶部 DSpark：投机解码的 drafter，读取主干 hidden 生成草稿 token，取代了 V3 / V4 的 MTP。
• 一句话：prefill 时，除最后 128 个 token 外，数据流在左框顶部就结束了；右框只在 decode（以及末尾 replay）时运行。

用公式写出来，区别只在 decoder 那一行：

C_l 是全局 KV 条目，Z_l 是对应的压缩权重（CSA2 用它把相邻 m 个 token 加权合成一个条目；decoder 的 m = 1）。关键在于右边只出现 H_20：一个 token 只要算到第 20 层，它在第 21–40 层的全局 KV 就能直接投影出来。结合 CSA2 的配置，decoder 里只有第 21 层是 Full 层，真正执行这次投影，其余 19 层都复用它，所以 decoder 实际只存一份全局 KV。

三个容易误读的点：

• encoder 仍然是因果的：它叫 encoder，但和 BERT 式双向编码器无关，只是「下半网络」。每个 token 仍只能看见自己和之前的 token，所以整体照常自回归生成。
• 只有全局 KV 改了道，SWA 没有：decoder 每层的滑窗 KV 仍来自本层 hidden。这保住了上半网络的局部计算深度，也带来了下面要讲的 replay 代价。
• 16B 是整条路径，不是 decoder 的大小：decode 时 encoder 和 decoder 都要跑，两半各约 8B。

走一遍：一轮 agent 交互在 CED 里怎么流动

设想一个 coding agent：上下文里已经缓存了约 200K token（系统提示、仓库文件、历史对话）；这一轮 pytest 返回了 4,000 token 的报错日志，模型要据此写出约 400 token 的分析和下一步工具调用。逐步点「下一步」，再切到对照模式，看看同样 40 层但不用 CED 时有什么不同。

8B 和 16B 的账是怎么算出来的

报告没有给出参数拆分，但用 §4.2.1 的超参（hidden 5120，每个专家中间维 2304，64 个 query head × 512 维等）可以粗算，结果和官方数字吻合：

结论很直接：8B / 16B 的差异就是 20 层与 40 层的差异，路由、专家数、每层宽度在两个阶段完全相同。prefill 时 decoder 唯一多出的工作，是第 21 层把 H_20 投影成全局 KV（不到 0.01B），以及末尾 128 个 token 的 replay。

「接近减半」有个前提：新输入要足够长

报告给出的 prefill 复杂度是从 O(N·L) 降到 O(N·L/2 + n_win·L/2)，其中 N 是本轮新输入的 token 数，n_win = 128 是滑窗大小。第二项就是末尾 replay 那 128 个 token 过 decoder 的固定开销，所以相对不用 CED 的比例约为 1/2 + 64/N：

按报告公式推算，只计 Transformer 层的 token 数，不含注意力随上下文增长的部分；若前缀的 encoder SWA KV 已过期，还要多重放 128 个 token 的 encoder。

这也解释了为什么 replay 必须有界。decoder 的 SWA 依赖逐层叠加：第 40 层看前 128 个位置的第 39 层状态，而这些状态又各自看前 128 个位置的第 38 层……精确重建需要 20 × 128 = 2,560 个 token 过 decoder。多轮对话里每轮新输入常常只有几百 token，这笔固定开销会吃掉大部分收益。报告引用 PowerAttention 的观察：SWA 的有效感受野远小于理论值，于是只重放最后 128 个 token、把 SWA 截断在重放段内，接受近似结果，并在 post-training 中模拟同样的 replay 做训练适配。

把 KV 再压到 1/4：CSA2、FP4 与有界重放

CED 省下的是 prefill 计算；报告标题里的「KV 缓存压缩」主要靠另外三项。KV 的开销可以沿三个相乘的维度压缩：每个条目的大小（GQA、MLA、量化）、序列维（每 m 个 token 合成一个条目）、层维（多层共用一份）。V4 主要压了前两维，V4.1 补上了层维，并把条目大小再减半。

CSA2：40 层里只有 4 层生产全局 KV

CSA2 保留了 CSA 的骨架（压缩 KV + indexer 选 Top-K + SWA 分支），但给每一层静态指定三种模式之一：

• Full：自己算主 KV，从主 KV 投影出 indexer K，再跑 indexer 选出新的 Top-K。等同于 V4 里一个完整的 CSA 层。
• Reindex：复用最近一个 Full 层的主 KV 和 indexer K，但用自己的 indexer Q 重新打分，选出自己的 Top-K。同一份 KV，不同的选择。
• Reuse：KV 和 Top-K 都复用最近一个产生索引的层，不跑 indexer，直接做稀疏注意力。

三种模式下，每层都保留自己的 query 和 SWA KV，所以每层的注意力输出仍然不同。共享 KV 省的是存储，复用索引省的是 indexer 计算，两者解耦。

原论文 Figure 4：三种模式的差别只在主 KV、indexer K 和 Top-K 索引是本层算的还是复用的。

展开说明 ▸

• 共同骨架：三个面板里，Main Q 和 SWA KV 都由本层计算（白色块）。选出的 Selected Main KV 与 SWA KV 拼接（Concatenation）后，和 Main Q 一起做 Core Attention。
• 绿色 = 本层计算：Full Mode 自己算 Main KV、Indexer K、Indexer Q，由 Indexer 打分得到 Top-K Indices，再去 Selection。
• 黄色 = 从最近的 Full 层复用的主 KV 和 indexer K：Reindex Mode 只算自己的 Indexer Q（绿色），对共享的 Indexer K 重新打分，得到新的 Top-K。
• 红色 = 从最近一个产生索引的层（Full 或 Reindex）复用的 Top-K：Reuse Mode 不跑 indexer，直接按别人的选择从共享 KV 里取条目。
• 一句话：越往右，本层要算、要存的东西越少；但三者的注意力输出都由本层的 query 和 SWA KV 决定，层与层之间并不完全相同。

V4.1-Flash 的具体排布如下。把它和 CED 叠在一起看，就能看出哪些层生产 KV、prefill 在哪里停：

相对 V4 的 CSA，CSA2 还做了两处简化：压缩器去掉了相邻条目的重叠窗口和绝对位置编码（CSA 用 2m 个原始条目生成一个压缩条目，相邻条目有重叠）；indexer K 直接由主 KV 投影，不再从 hidden 单独压缩一路。另外，V4.1 全部使用 CSA2，不再混用 HCA。

Hierarchical Sparse Indexer：decoder 里后面的 indexer 只在候选池里找第 21 层圈出最多 16,384 个候选位置，后续 Reindex 层的打分量不再随上下文长度增长

原论文 Figure 5：第一个 Full 层全量打分并圈出候选池，后续 Reindex 层只在池内各选 Top-512。

展开说明 ▸

• 左：Full Mode Indexer：对所有因果可见的位置打分，选出自己的 Top-512（绿色格）；同时把每个块的得分记为块内最高分，挑出得分最高的若干块（蓝色条）。
• 中：Shared Candidate Pool：被选中块覆盖的全部位置组成候选池。配置为最多 2,048 块 × 每块 8 个位置 = 16,384 个候选，比最终的 Top-512 大得多。
• 右：Reindex Mode Indexer：后续每个 Reindex 层只对候选池里的位置打分，各自选 Top-512。搜索范围相同，最终选择可以不同。
• 底部长箭头：同一个候选池被所有 Reindex 层共享，不新增任何缓存状态。
• 一句话：除第一个 Full 层外，indexer 的每 query 打分量与上下文长度无关。该机制在 post-training 引入，训练和推理用同样的候选限制。

FP4 主 KV 缓存

V4 已经用量化感知训练（QAT）把 indexer 的 Q、K 做成 FP4；V4.1 在 post-training 中把 QAT 扩展到主 KV 缓存：

• 格式：E2M1 数值，每 16 个通道共用一个 E4M3 缩放因子（类似 NVFP4，但去掉了第二级全局缩放）。报告论证 KV latent 经 RMSNorm 后幅度有上界（约 22.6），这个格式的动态范围足够。
• 只用于存储：读出时先反量化再做注意力，不依赖硬件原生支持 FP4 矩阵乘，跨平台兼容。
• 在 RoPE 之后量化；SWA KV 对量化更敏感，仍保留 FP8。

相比 V4 的 FP8 主 KV，存储几乎减半，HBM 和 SSD 上都一样。CSA2 跨层共享叠加 FP4，正好把每 token 全局 KV 算到 890 字节：

原论文 Figure 1(b)：每 token 全局 KV 字节数，从 V4-Flash 的 3,514 降到 V4.1-Flash 的 890（3.9×）。

展开说明 ▸

• 纵向四代模型，横条长度是每 token 全局 KV 的字节数，也就是常驻 HBM、随上下文线性增长的那部分。
• V1 → V3.2（2023.11 → 2025.12）：389,120 → 48,068，主要来自 MLA 的共享 latent，缩小 8.1×。
• V3.2 → V4-Flash（2026.04）：→ 3,514，CSA / HCA 沿序列维压缩，缩小 13.7×。
• V4-Flash → V4.1-Flash（2026.09）：→ 890，CSA2 沿层维共享加 FP4，缩小 3.9×；相对 V1 累计约 437×。
• 注意口径：图中只统计全局 KV；SWA KV 有窗口上限，不在此列，它的持久化问题由下一节的有界重放解决。

SWA Bounded Replay：持久化缓存里不再存 SWA KV

有界重放在 CED 那里用来省 decoder 的 prefill；在部署层面，同一个技巧还解决了 V4 遗留的持久化缓存问题。SWA KV 的访问模式和持久化缓存不匹配：全局 KV 有长尾复用（几天后同一前缀还可能被命中），SWA KV 只在一个活跃会话的分钟级窗口内有用，下一轮开始就作废了。

两个因子相乘：持久化缓存不再存 SWA KV（约减半），剩下的全局 KV 又是 V4 的 1/4，合起来约为 V4-Flash 的 1/8。代价是重放得到的状态是近似的：从不同位置续接缓存时，后续算出的 KV 在数学上并不完全相同。报告称实验中对回答质量的影响可以忽略。

其他架构调整一览

下面这些和「8B / 16B」没有直接关系，但都是这一代相对 V4 的结构变化。按需展开：

效果如何，代价在哪

base 模型对比里，V4.1-Flash 以 V4-Pro 约 1/3 的总参数、约 1/4 的激活参数，在知识、推理和代码上接近或超过 V4-Pro，并全面优于 V4-Flash：

读这张表要注意：这是整模型对比，同时变了数据（45T 多模态语料、更强的清洗）、规模和多处结构，不是 CED 的消融。对于 CED 本身，报告只定性地说它「在减少近一半 prefill 计算的同时，性能与 baseline 相当」，没有给出同规模有无 CED 的对比数字。

输出侧其实更贵了

不对称是一种取舍，不是白赚。每个输出 token 激活 16B，比 V4-Flash 的 13B 还多：

原论文 Figure 2：单 token decode 计算量随上下文长度的变化。短上下文时 V4.1-Flash 略高于 V4-Flash，长上下文时几乎不增长。

展开说明 ▸

• 坐标：横轴是上下文长度 4K → 1M（对数），纵轴是单 token decode FLOPs（对数，按精度加权：BF16 = 1，FP8 = 0.5，FP4 = 0.25）。
• 短上下文：V4.1-Flash（深蓝实线）在 V4-Flash（浅蓝）之上。每个输出 token 要过 40 层、激活 16B，线性层计算比 13B 的前代多。
• 交叉点：两条线大约在 100K 量级相交；之后 V4-Flash 随长度明显上升，V4.1-Flash 几乎是平的。
• 为什么平：注意力只读 Top-512 个条目加 128 窗口；分层索引让后续 indexer 的打分量与长度无关，只剩第一个 Full 层的全量打分随长度增长。从 4K 到 1M（256 倍），decode FLOPs 只增加约 1/4。
• 一句话：V4.1 把成本从「输入」和「长上下文」挪向「每个输出 token 的固定开销」，这正是为 agent 负载做的取舍。

粗略感受一下这笔账（只比较激活参数 × token 数，近似线性层计算量，忽略注意力、replay 和投机解码）：

这是按激活参数做的示意，不是报告给出的实测；两代模型能力不同，长上下文下 V4.1 的注意力开销也明显更低。

报告自己承认的边界

• 近似机制的鲁棒性尚未完全刻画：CSA2 的稀疏选择误差、SWA Bounded Replay 的近似重建，可能在未测到的极端情况下掉点。报告点名要加强测试的两类场景是超长上下文稀疏检索和缓存续接边界处的 SWA 状态重建。
• 长上下文与知识类仍落后更大的模型：LongBench-V2 和 SimpleQA-Verified 与 V4-Pro 差距明显；需要专家级领域知识的科学类 agent 任务也仍有差距。
• CED 的收益依赖负载形态：新输入越长越接近减半；短轮次、输出为主的场景收益有限，甚至不如前代。