ICML 2024 最佳本文结果揭晓，引起了广泛关注。据报道，其中一篇本文曾经被 ICLR 2024 拒绝过，作者来自斯坦福大学，包括 Pika 创始人之一孟晨琳在内。本文提出了一种新的离散扩散语言建模方法，通过引入分数熵损失函数，显著提升了离散扩散模型在语言建模任务中的性能。
研究结果显示，这种新方法在多项任务中明显优于 GPT-2。例如，生成效果评估中，五位审稿人的评分分别为 8、8、6、6、5。尽管获得了高分，最终仍遭到接收委员会的拒绝，令人不禁想起其他类似命运的例子。
作为 Transformer 架构的挑战者，这项研究开创了大模型的新方向。类似于之前 Mamba 的经历，尽管理念先进，却因实验不完善而被拒，引发了不少争议。甚至包括 ICLR 创始人之一 LeCun 在内的人士也表达了不满。
本文主要关注了传统扩散模型在离散数据领域（如文本）表现不佳的问题。研究团队指出，传统扩散模型依赖于分数匹配理论，在离散数据上效果有限。为了填补这一空白，他们提出了分数熵损失函数，并构建了分数熵扩散模型（SEDD）。在主要的语言建模任务中，SEDD 表现优异，不仅与同规模的自回归语言模型相媲美，还在零样本困惑度任务中击败了 GPT-2。
SEDD 还能生成高质量的无条件样本，提供了计算效率和生成质量之间的良好平衡。由于其高度可控的特性，SEDD 可以通过简单的参数调整（如提示词微调）而无需额外训练。
评审团队中有两位给予了高分，普遍认可本文的创新点和理论推导的清晰性，以及实验结果的说服力。也有一些小问题被指出，比如拼写错误和对实验细节的不完整解释。尽管作者在回复评审意见时进行了详尽的修改和解释，但最终 AC 仍认为实验部分不够完善，特别是缺乏与其他扩散模型（如 SSD-LM、TESS 等）的充分比较。
虽然本文提出了有潜力的新理念，但在实验设计和对比分析上存在不足。有人认为，类似于 Mamba 的经历，通过完善本文后再次提交并获得最佳本文也不失为一个合理的选择。
值得一提的是，本研究的作者团队不仅包括 Pika 创始人之一孟晨琳，还有一作最近加入 OpenAI，将在 ICML 2024 上进一步阐述这项工作。
如果想查看完整的本文，请访问： 本文链接 。
