EP01 论文速读 | 简单反思《语言模型的 Scaling Law》，现在还适用吗？
概述本期主题：深入解析 Scaling Law及其在模型性能优化中的应用。核心问题：Scaling Law 描述了模型性能如何随着模型参数规模、数据集大小和计算资源投入增长，展现出一定的幂律关系。讨论内容涵盖 Scaling Law 的核心公式、应用场景，潜在局限性及未来发展的可能性。时间轴00:00 - 开场与节目介绍01:02 - 什么是 Scaling Law？核心概念解析11:48 - Scaling Law 的现实意义及限制19:51 - 应用案例：OpenAI 的研究成果及行业观察23:16 - Scaling Law 的限制及未来发展方向24:16 - 结尾总结相关资源:OpenAI 的 Scaling Law 研究论文https://doi.org/10.48550/arXiv.2001.08361Hestness, Joel; Narang, Sharan; Ardalani, Newsha; Diamos, Gregory; Jun, Heewoo; Kianinejad, Hassan; Patwary, Md Mostofa Ali; Yang, Yang; Zhou, Yanqi (2017-12-01). "Deep Learning Scaling is Predictable, Empirically"https://doi.org/10.48550/arXiv.1712.00409Hoffmann, Jordan; Borgeaud, Sebastian; Mensch, Arthur; Buchatskaya, Elena; Cai, Trevor; Rutherford, Eliza; Casas, Diego de Las; Hendricks, Lisa Anne; Welbl, Johannes; Clark, Aidan; Hennigan, Tom; Noland, Eric; Millican, Katie; Driessche, George van den; Damoc, Bogdan (2022-03-29). "Training Compute-Optimal Large Language Models"https://doi.org/10.48550/arXiv.2203.15556联系我们如果喜欢本期节目，请订阅、分享，欢迎留下宝贵的意见，如有错误请多指正，新人上路，请多指教！联系方式：公众号【孙霄逸 Xiaoyi】特别鸣谢:本期主播：马克孙， 老柏感谢团队：对本期节目的策划与剪辑支持。
