文章主要内容总结本文介绍了DATE-LM（Data Attribution Evaluation in Language Models），这是一个用于评估大型语言模型（LLMs）数据归因方法的统一基准套件。数据归因方法旨在量化训练数据样本对模型输出的影响，在数据集筛选、模型可解释性、数据估值等领域有重要应用。DATE-LM通过三个核心任务评估归因方法的质量：训练数据选择：评估归因方法在预训练和微调阶段筛选高质量数据的能力；毒性/偏见过滤：检测并过滤训练数据中可能导致模型产生有害输出的样本；事实归因：追溯模型输出中的事实性内容至训练数据中的支持证据。通过DATE-LM进行的大规模评估显示：没有单一方法在所有任务中表现最优；数据归因方法与简单基线（如基于词汇或检索的方法）存在性能权衡；方法性能对任务特定的评估设计敏感。此外，DATE-LM提供了模块化评估流程、预训练模型 checkpoint 以降低计算成本，并发布了公开排行榜以促进社区参与。创新点统一且应用驱动的基准设计：首次针对LLMs构建了覆盖多任务（训练数据选择、毒性过滤、事实归因）的统一评估框架，聚焦实际应用场景。任务特定的评估策略
)