用三倍更低的算力，驾驭百万 token 上下文

问题：长上下文里 KV 一线性堆积，算力和显存都顶不住。

做法：① 每 m=4 个 token 的 KV 被重加权为 1 条压缩条目；② 由 Lightning Indexer 打分，Top-k（Pro=1024, Flash=512）选出最相关的压缩条目参与注意力；③ 额外挂 n_win=128 个 sliding window 条目兜底局部信息。

缓存：长历史只需要存压缩后的 KV cache，末尾保留 sliding window 内的原始 KV；attention 计算时把“近处原始 KV + 远处检索到的压缩 KV”合起来看。

代价：压缩操作和 Indexer 的额外分支——但通过 FP4 量化把 QK 路径打到近乎白菜价。

问题：只做稀疏会丢掉"全景感"，模型看不到远处的大趋势。

做法：KV 每 m' = 128 个 token 被压成 1 条，不做 Top-k 筛选，所有查询都跟所有压缩块做 dense MQA。信息极度摘要，但依然覆盖全序列。

代价：单条 KV 表达受限——因此不能用作唯一架构，与 CSA 交替使用才是正解。

问题：普通 Hyper-Connection 扩宽 residual 通道后，深堆叠时数值频繁爆炸。

做法：强制残差变换矩阵 B_l ∈ 双随机矩阵集合 M。谱范数 ‖B‖₂ ≤ 1，前/反向传播自然非扩张。用 20 次 Sinkhorn-Knopp 迭代在线投影。

代价：推理/训练都要跑 Sinkhorn 投影——通过 fused kernel + 选择性 recompute，墙钟时间开销仅 6.7% 的 1F1B pipeline stage。

问题：AdamW 在超大 MoE 下收敛偏慢，且 loss spike 频发。

做法：大部分参数用 Muon（含 Nesterov trick + 混合 Newton-Schulz 10 步正交化：前 8 步激进收敛，后 2 步精调到 singular value ≈ 1）；Embedding / Head / RMSNorm 等保留 AdamW。

代价：需要完整梯度矩阵 → 重新设计 ZeRO bucket 分配；但注意力里的 RMSNorm 直接防住 attention logit 爆炸，QK-Clip 都省了。

关键洞见：FP8(E4M3) 比 FP4(E2M1) 多两位指数，动态范围够大到把 FP4 的分块 scale 吸收掉 —— 因此 FP4→FP8 dequant 是精确无损的。

效果：推理/rollout 阶段直接吃真 FP4 权重，训练阶段用模拟量化复用现有 FP8 框架，无需改反向传播。Indexer 里 index scores 再从 FP32→BF16，Top-k 2× 加速，recall 99.7%。

思路：EP 里的通信时间其实比计算时间短，只要把 experts 切成若干 wave 并发，通信就能被计算完全遮蔽。

数字：通用推理 1.50 ∼ 1.73× 加速；RL rollout / 高速 agent 服务 1.96×。硬件平衡点：每 GB/s 互联带宽能喂饱 6.1 TFLOP/s 计算。

落地：已作为 DeepGEMM 的一部分开源。

问题：常规 MoE 必须等当前层 hidden state 算出来后才能 router → all-to-all dispatch，通信只能串在计算后面，EP 越大空泡越严重。

做法：用上一层的隐状态提前给下一层做"预路由"，把 token→expert 的 dispatch 与当前层的计算并发执行；正式 router 仍在当前层做最终校正，预测错的少量 token 走 fallback 通信。

代价：多一个轻量预测分支 + 少量补发通信。换来的是 EP all-to-all 在时间轴上几乎完全被隐藏，配合 MegaMoE wave 调度才把 1.96× rollout 加速吃满。

问题：SwiGLU = (xW_g) ⊙ silu(xW_u) 在少数 token 上 gate 和 value 同时被放大，会在 BF16 / FP8 / FP4 路径上偶发溢出，进而触发 loss spike，FP4 QAT 尤其敏感。

做法：对 gate（必要时也对乘后的中间值）做 soft clamp，把数值幅度钉在安全区间内；clamp 阈值随训练进度调度，前期较松、后期收紧。

代价：极端长尾被截断 —— 但这些 outlier 本就是训练不稳定的主要来源，clamp 之后训练曲线显著更平，与 Muon、FP4 QAT 共同保证全程零 loss spike。