0:000:00
<p>欢迎来到谷粒粒的节目《程序员补缺》！在这里，我们补充编程以外的知识。</p><p><br></p><p>本期节目，我们将深入探讨AI工程的核心实践，从基础模型的最新进展出发，重点聊聊如何运用检索增强生成（RAG）和参数高效微调（PEFT，特别是LoRA）来适配模型，解决大模型的幻觉与知识局限性。我们还将剖析推理优化的关键指标与技术，探讨开放式生成任务的评估难题，并强调数据工程在构建实用AI应用中的决定性作用，包括合成数据的潜在风险。最终，我们将梳理AI应用的技术栈分层，提炼出在快速发展的AI领域中，恒定不变的工程成功要素。<br></p><p>🎯 本期你将收获：</p><p>✨ 基础模型的能力与挑战：了解当前大模型的最新进展，以及幻觉与知识局限性等普遍问题。<br>✨ RAG深度解析：掌握如何通过实时查询外部知识库，让模型变得更强大、更可靠。<br>✨ PEFT与LoRA实践：理解参数高效微调如何降低模型适配门槛，实现成本与效果的平衡。<br>✨ 推理优化策略：学习量化、KV缓存、推测解码等技术，提升AI应用的响应速度与吞吐量。<br>✨ 生成模型评估新思路：探讨"AI作为裁判"等评估方法，并警惕数据污染带来的评估偏差。<br>✨ 数据为中心AI的理念：认识高质量数据在AI应用中的核心地位，以及合成数据的机遇与风险。<br>✨ AI应用技术栈概览：宏观理解构建实用AI应用所需的整体工程架构与关键环节。</p><p><br></p><p>本期播客时间点：<br>00:00 - 00:37 介绍AI工程的核心挑战与目标<br>00:37 - 01:33 基础模型的能力与局限性（幻觉问题）<br>01:33 - 02:56 检索增强生成（RAG）的原理与价值<br>02:56 - 04:14 参数高效微调（PEFT/LoRA）技术解析<br>04:14 - 05:39 推理优化关键指标与方法<br>05:39 - 06:37 生成模型评估的难点与解决方案<br>06:37 - 07:52 数据工程的重要性与合成数据风险<br>07:52 - 09:33 AI应用技术栈分层与工程实践总结如果你对AI工程、如何克服大模型挑战以及构建稳定可靠的AI应用充满好奇，本期内容将为你提供一份独到的见解和实用的启发。想要获取更多程序技能以外的干货，欢迎关注我们的频道。我们下期再见...