来自陈丹琦团队的最新研究推出了一种名为SimPO的替代性优化方法，将斯坦福提出的DPO（直接偏好优化）甩在了后头。SimPO在多项测试中展现出比DPO更出色的性能，甚至让8B模型在战胜Claude3的超大杯Opus上一举胜出。与DPO相比，SimPO不仅在训练时间和GPU消耗上有明显减少，而且摆脱了对参考模型的依赖，避免了训练和推理不一致的问题。
SimPO是Simple的简写，旨在强调其简洁易用的特性。与DPO类似，SimPO也是对RLHF中的奖励函数进行优化。传统的RLHF中，奖励函数通常需要另外一个独立的奖励模型进行提供，需要额外的训练和推理；而DPO则直接利用人类偏好和模型输出之间的关系，通过使用语言模型的对数概率构建奖励函数，省去了额外训练的过程。
在SimPO中，奖励函数采用了长度归一化的对数概率。具体而言，奖励函数由一个正的缩放系数β乘以当前语言模型生成回复的对数概率除以回复长度计算得出。这种奖励方式确保模型生成的回复更符合自身已有知识，同时惩罚过长的回复，鼓励模型用简洁方式表达信息。
SimPO引入了奖励差异项γ来改进目标函数。通过设定正负样本的奖励差异阈值，加强了优化信号，促使模型更清晰地区分正负样本。消融实验结果显示，长度归一化和奖励差异项的引入是SimPO性能提升的关键。
SimPO不仅在AlpacaEval2和Arena-Hard等基准测试中表现优异，还在与其他PO方法的比较中脱颖而出。通过WinRate等指标的对比，SimPO调整后的8B模型胜过了Claude3的Opus，在胜率上也比DPO有所提升。综合来看，SimPO的性能表现超越了其他PO方法，展现出了其在生成质量和优化效果上的优势。
Behind the blue
《小小的手心》《团子年夜家族》《air》《my song》 傍晚少女里的安魂曲，妖精的尾巴里有不少好听的
专辑里面的图片上直接有名字的，其实这些代码就是音乐的名字，有的代码后面引号里面就是歌名。 因为 鹭巣诗郎 大师作品太多了所以就用这种代码代替。 其实这次 破的专辑里面 沿用了前作的就是 EVA-02 2号机出场音乐了。 其他多半是新作和 序里面的。 在之前出现过的我会特别在后面加注歌曲名的。 下载地址:2EM01_B01At The Very Beginning02. 2EM03_. 2EM04_E4 原TV版的“ EVA-02 ”04. 2EM05_KK_B0905. 2EM06_KK_B1606. 2EM07_KK_B09_InDoor07. 2EM08_B1708. 2EM09_YAMASHITA09. 2EM10_KK_C01_AddGuit10. 2EM11_B1611. 2EM12_KK_A0912. 2EM13_EM20_Alterna13. 2EM14_EM10C序里面的The Longest Day14. 2EM15_0938Destiny15. 2EM16_0944Fate16. 2EM17_KK_A0817. 2EM18_KK_C0118. 2EM19_ソル:モーツァルトの主题による変奏曲（剧中曲）19. 2EM20_KK_A09_Kuriya20. 2EM21_KK_C01_Str+AcGuit21. 2EM22_KK_A08_Orche22. 2EM25_Piano_Nu23. 2EM26_EM05B24. 2EM28_EM1325. 2EM29_E526. 今日の日はさようなら27. 2EM31_0948In My Spirit28. 2EM32_0910Keep Your Head Above The Mayhem29. 2EM33_0902The Final Decision We All Must Take30. 2EM34_E13 改变了音调之后的 Rei-2丽的角色音乐之一31. 2EM35_Nu02Carnage32. 2EM36_E1633. 翼をください34. 2EM38_F02Trailer Eva Special 预告音乐Bonus Tracks35. ふりむかないで（剧中曲）36. 恋の季节（剧中曲）DISC2Shiro SAGISU Music from EVANGELION:2.0YOU CAN (NOT) ADVANCE.01. At The Very Beginning02. LAgresseur03. Ambassadrice Rouge04. Des Cordes:opus105. Destiny06. Fate07. Robe des Champs08. Des Cordes:opus209. Tranquillité10. Les Bêtes11. 今日の日はさようなら-Tribute to “Sound of Music12. In My Spirit13. Keep Your Heads Above The Mayhem14. Instabilité:Orchestre15. The Final Decision We All Must Take16. Evanescence:mouvement 117. Evanescence:mouvement 218. Evanescence:mouvement 319. Carnage20. Sin From Genesis21. 翼をください-Tribute to“Sound of Music22. Instabilité:Piano Solo23. Mellow2009
