AI 智能体的上下文工程:来自Manus 经验分享

AI 智能体的上下文工程:来自Manus 经验分享

Published on Jul 24
11分钟
Daily LLM Papers
0:00
0:00
<p><a href="https://manus.im/zh-cn/blog/Context-Engineering-for-AI-Agents-Lessons-from-Building-Manus">Manus 博客原文:AI代理的上下文工程:构建Manus的经验教训</a></p><p>Manus 项目通过语境工程(Context Engineering)解决了AI智能体开发和运行中的多项关键挑战,并积累了宝贵的经验,这些经验对未来的AI智能体开发具有重要启示。</p><p>以下是Manus项目通过语境工程解决的主要挑战及其具体做法:</p><ul> <li><strong>应对模型迭代周期慢和产品与底层模型耦合过深的问题</strong>:<strong>挑战</strong>:在早期的自然语言处理(NLP)中,模型需要经过数周的微调和评估才能适应新任务,这种缓慢的反馈循环对于快速迭代的应用是不可接受的。<br><strong>解决方案</strong>:Manus <strong>选择押注语境工程</strong>,而非训练端到端的代理模型。这使得产品改进能够从数周缩短到数小时,并使产品独立于底层模型,就像“潮水上涨(模型进步),我们希望Manus是船,而不是扎根海底的柱子”。<br></li> <li><strong>优化延迟和成本问题</strong>:<strong>挑战</strong>:AI智能体在每次迭代中上下文会不断增长,导致预填充(prefilling)与解码(decoding)的比率高度倾斜(例如Manus中输入与输出的令牌比约为100:1),这会显著增加延迟和推理成本。<br><br><strong>解决方案</strong>:<strong>围绕KV-缓存进行设计</strong>,提高KV-缓存命中率。具体实践包括:<strong>保持提示前缀的稳定</strong>:避免在系统提示开头包含动态时间戳,因为即使单个令牌的差异也可能使缓存失效。<br><strong>确保上下文仅支持追加</strong>:避免修改先前的动作或观察,并确保序列化过程是确定性的,以防止无意中破坏缓存。<br><strong>在需要时显式标记缓存断点</strong>:确保断点至少包含系统提示的结尾,并考虑缓存过期。<br>在自托管模型时,确保启用前...