Provable Benefits of In-Tool Learning for Large Language Models

《Provable Benefits of In-Tool Learning for Large Language Models》总结与翻译一、文章主要内容总结本文围绕大型语言模型（LLMs）的两种知识获取与运用方式——权重内学习（in-weight learning，即通过参数记忆知识）和工具内学习（in-tool learning，即通过外部工具检索知识）展开研究，旨在从理论和实证层面证明工具内学习的优势。核心背景与问题随着检索增强生成（RAG）、外部记忆模块等技术的发展，LLMs正从静态预测模型向动态、上下文感知的工具增强系统转变。这引发了一个关键问题：模型获取和运用知识的更优方式是什么？是通过参数更新内化事实（权重内学习），还是通过学习访问外部资源（工具内学习）？二者存在核心权衡——权重内学习受模型参数容量限制且易遗忘，工具内学习则具备开放式知识访问、泛化性和可解释性的潜力。理论分析权重内学习的局限性：推导理论下界证明，模型仅通过权重能存储的不同事实数量，从根本上受参数数量限制。公式表明，记忆任意事实映射所需的参数数量与事实数量呈线性增长关系，一旦事实数量超过模型规模决定的阈值，记忆便无法实现。工具内学习的优越性：构建理论上界证明，工具增强模型通过学习与外部数据库交互，原则上可检索无限数量的事实，