月之暗面MoBA核心作者自述：一个“新晋大模型训练师”的三入思过崖
-
最新报道：2 月 18 日，Kimi 和 DeepSeek 同一天发布新进展，分别是 MoBA 和 NSA，二者都是对 “注意力机制”（Attention Mechanism）的改进。MoBA 的一位主要研发同学 Andrew Lu 在知乎发帖，自述研发过程的三次踩坑，他称为 “三入思过崖”。 注意力机制是当前大语言模型（LLM）的核心机制。MoBA 论文指出，传统注意力机制中固有的计算复杂性的平方增加，带来令人望而却步的计算开销。研究者们追求大模型处理的上下文能足够长，如何找到一个既没那么占用计算资源和内存，又不损失模型性能的注意力机制优化方法，成为大模型研究的重要课题。 MoBA、NSA、InfLLM 里的注意力机制都属于 “稀疏注意力机制”（Sparse Attention)；而 MiniMax-01 的尝试则主要是另一个方向：“线性注意力机制”（Linear Attention)。 MoBA 的灵感来自当前主流的大模型 MoE 结构。MoE 指大模型工作时，每次只激活部分专家的参数，而不是全部，从而节省算力；MoBA 的核心思路是 “每次只看最相关上下文，而不是全部上下文，从而节省计算和成本”。 MoBA v2 稳定可训，短文本和 Full Attention 可以完全对齐，Scaling Law 看起来非常可靠，而且比较丝滑的支持推广到线上模型上。MoBA 再次从思过崖回归，并成功上线服务用户。
下一篇
实测百度搜索DeepSeek满血版：“为我所用”还是“拿来主义”？
- 百度搜索目前已全量上线DeepSeek满血版并提供联网服务，PC端开放仅1小时就有超千万人使用。百度AI搜索的DeepSeek满血版效果惊艳，展现出全面的考虑和专业数据积累。文章探...
24小时热点
热点专题
411173