ICML2024时间检验奖已经揭晓，贾扬清共同一作的本文DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition荣获殊荣。本文由贾扬清及其团队于10年前在UC伯克利完成，ICML官方第一时间通过推文祝贺，贾扬清则深感荣幸，并艾特了其他作者。谷歌DeepMind副总裁兼Gemini项目联合负责人Oriol Vinyals也在评论中表达了对奖项的感激之情。ICML是举办了41届的国际机器学习会议，今年共收到超过9000份投稿，接受率为27.5%。
除了DeCAF外，获得最佳本文奖的StableDiffusion3等本文也备受瞩目。DeCAF目前在谷歌学术上已被引用6012次，其核心贡献是提出了一种名为深度卷积激活特征（Deep Convolutional Activation Feature，DeCAF）的框架，旨在解决通用视觉识别问题。该方法探索了在大规模标记数据集如ImageNet上预训练的深度卷积神经网络，以及中间层特征在迁移学习中的应用可行性。
具体而言，本文采用了Geoffrey Hinton、Alex Krizhevsky和Ilya Sutskever于2012年提出的经典卷积神经网络架构，包含5个卷积层和3个全连接层。在预训练阶段，网络权重被冻结，作者提取了不同层次的激活作为特征，例如DeCAF5、DeCAF6和DeCAF7（即最后一个隐藏层的激活）。在新任务上，他们仅训练了简单的线性分类器，同时保持DeCAF特征不变。
为验证DeCAF方法的有效性，作者在多个计算机视觉基准测试上进行了实验，包括对象识别（Caltech-101）、域适应（Office数据集）、细粒度识别（Caltech-UCSD鸟类数据集）和场景识别（SUN-397）。结果显示，DeCAF在所有任务上表现优异，常超越当时的最佳方法。通过t-SNE算法将高维特征映射到2D空间，研究展示了DeCAF在语义聚类方面优于传统特征如GIST和LLC。
本文还深入分析了网络各层的计算时间分布，发现全连接层占据了大部分计算时间。研究还探讨了dropout等正则化技术的影响，特别是在DeCAF6和DeCAF7层上的应用。最终，作者还开源了DeCAF特征提取工具和预训练模型，为研究社区提供了重要资源。
在本文获奖后，有网友联想到DeCAF可能是Caffe框架的前身，贾扬清对此做出了回应。ICML2024还评选出了其他10篇最佳本文，包括StableDiffusion3本文。
更多有关ICML2024奖项的信息，请访问 官方网站 。原文来自微信公众号量子位，作者西风，36氪经授权发布。
