0:000:00
「不仅是提效，线性注意力在数据受限情况下的更多潜力。」
今年初的两期节目（103、104 期）里也讨论过注意力机制，这是大语言模型的核心机制。
9 月 和 10 月，阿里和 Kimi 都发布了相关进展，而且都用到了一个线性注意力成果，DeltaNet。
本期嘉宾，就是 DeltaNet 的核心贡献者之一，现在在 MIT 读博士的杨松琳，她也是线性注意力开源小组 FLA 的发起者。
这期节目在 25 分钟以前很硬核，松琳讲了线性注意力和 DeltaNet 的发展脉络，为何 21 年刚被提出时没引起太多注意，后来怎么进化的。
25 分钟以后，是关注 AI 比较多的文科生，比如我也能完全跟上的部分。我们讨论了，重新去做 full attention 的 MiniMax，以及未来要在旗舰模型上用线性注意力的 Kimi 和阿里的不同选择；线性注意力的优劣势；以及一些脑洞——如果算力无限，还需要线性注意力？松琳给了很有启发的回答。
最后半小时，松琳分享了她作为研究员，怎么习得交叉技能的，怎么开始发起FLA小组等成长经历。
本期嘉宾：杨松琳，MIT 博士生在读，DeltaNet 贡献者
本期主播：程曼祺，《晚点 LatePost》科技报道负责人
时间线跳转：
-DeltaNet 的诞生演进与近期动向
02:07 注意力机制是什么？
04:21 DeltaNet 的提出，用 Delta Rule 来增强 in-context retrieval
09:41 近年的改进主要是模型架构，而非“更新规则”
14:25 阿里 Qwen 团队 apple to apple 比较几种线性注意力混合方式；Kimi Linear 对 Gated Delta 的具体改进
17:00 更新规则和模型架构改进的区别：更新规则是在算子层面“动刀”
19:50 算法出身，自学 Infra；学习 Hazy Research Group 的风格
23:28 Qwen 和 Kimi 大概率在下一代旗舰模型用线性注意力，而 MiniMax 用回 full attention；DeepSeek 目前释放的改进都是“稀疏注意力”
37:07 稀疏注意力 vs 线性注意力潜力对比
39:40 即使算力无限，线性注意力仍有价值，因为它在有限数据中的学习效率更高，而高质量数据正是当前瓶颈
42:28 线性注意力在状态追踪上也...