机器学习和深度学习的研究进展正深刻变革着人类的技术，本文列出了自 2014 年以来这两个领域发表的最重要（被引用次数最多）的
 20 篇科学论文，以飨读者。





机器学习，尤其是其子领域深度学习，在近些年来取得了许多惊人的进展。重要的研究论文可能带来使全球数十亿人受益的技术突破。这一领域的研究目前发展非常快，为了帮助你了解进展状况，我们列出了自 2014 年以来最重要的 20 篇科学论文。




我们筛选论文的标准是来自三大学术搜索引擎谷歌学术（scholar.google.com）、微软学术（academic.microsoft.com）和 semanticscholar.org 的引用量。由于不同搜索引擎的引用量数据各不相同，所以我们在这里仅列出了微软学术的数据，其数据比其它两家稍低一点。




我们还给出了每篇论文的发表时间、高度有影响力的引用数量（HIC）和引用速度（CV），以上数据由 semanticscholar.org 提供。HIC 表示了以此为基础的论文情况和与其它论文的关系，代表了有意义的引用。CV 是最近 3 年每年引用数量的加权平均。有些引用的 CV 是 0，那是因为 semanticscholar.org
 上没有给出数据。这 20 篇论文中大多数（包括前 8 篇）都是关于深度学习的，但同时也很多样性，仅有一位作者（Yoshua Bengio）有 2 篇论文，而且这些论文发表在很多不同的地方：CoRR (3)、ECCV (3)、IEEE CVPR (3)、NIPS (2)、ACM Comp Surveys、ICML、IEEE PAMI、IEEE TKDE、Information Fusion、Int. J. on Computers & EE、JMLR、KDD 和 Neural Networks。前 2 篇论文的引用量目前远远高于其它论文。注意第
 2 篇论文去年才发表！要了解机器学习和深度学习的最新进展，这些论文一定不能错过。




1. 论文：Dropout：一种防止神经网络过拟合的简单方法（Dropout: a simple way to prevent neural
 networks from overfitting）





链接：http://suo.im/3o6l4B


作者：Hinton, G.E., Krizhevsky, A., Srivastava, N., Sutskever, I., & Salakhutdinov, R. (2014). Journal of Machine Learning Research, 15, 1929-1958.


数据：引用：2084、HIC：142、CV：536


摘要：其关键思想是在神经网络的训练过程中随机丢弃单元（连同它们的连接点）。这能防止单元适应过度，显著减少过拟合，并相对于其它正则化方法有重大改进。




2. 论文：用于图像识别的深度残差学习（Deep Residual Learning for Image Recognition）





链接：http://suo.im/1JrYXX


作者：He, K., Ren, S., Sun, J., & Zhang, X. (2016). CoRR


数据：引用：1436、HIC：137、CV：582


摘要：目前的深度学习网络层数越来越多，越来越难以训练，因此我们提出了一种减缓训练压力的残差学习框架。我们明确地将这些层重新定义为与输入层有关的学习残差函数，而不是学习未被引用的函数。与此同时，我们提供了全面的经验证据以表明残差网络更容易优化，并可通过增加其层数来提升精确度。




3. 论文：批标准化：通过减少内部协移加速深度神经网络训练（Batch Normalization: Accelerating Deep
 Network Training by Reducing Internal Covariate Shift）





链接：http://suo.im/3sJtk1


作者：Sergey Ioffe, Christian Szegedy (2015) ICML.


数据：引用：946、HIC：56、CV：0


摘要：训练深度神经网络的过程很复杂，原因在于每层的输入分布随着训练过程中引起的前面层的参数变化而变化。我们把这种现象称为内部协变量转移（internal covariate shift），并可利用归一化层输入来解决此问题。通过将此方法应用到最先进的图像分类模型，批标准化在训练次数减少了 14 倍的条件下达到了与原始模型相同的精度，这表明批标准化具有明显的优势。




4. 论文：利用卷积神经网络进行大规模视频分类（Large-Scale Video Classification with Convolutional
 Neural Networks）





链接：http://suo.im/25lfXF


作者：Fei-Fei, L., Karpathy, A., Leung, T., Shetty, S., Sukthankar, R., & Toderici, G. (2014). IEEE Conference on Computer Vision and Pattern Recognition


数据：引用：865、HIC：24、CV：239


摘要：针对图像识别问题，卷积神经网络（CNN）被认为是一类强大的模型。受到这些结果的激励，我们使用了一个包含 487 个类别、100 万 YouTube 视频的大型数据集，对利用 CNN 进行大规模视频分类作了一次广泛的实证评估。




5. 论文：Microsoft COCO：语境中的通用对象（Microsoft COCO: Common Objects in Context）





链接：http://suo.im/DAXwA


作者：Belongie, S.J., Dollár, P., Hays, J., Lin, T., Maire, M., Perona, P., Ramanan, D., & Zitnick, C.L. (2014). ECCV.


数据：引用：830、HIC：78、CV：279


摘要：我们展示了一个新的数据集，通过将对象识别问题放入更广泛的场景理解问题的语境中，以推进当前对象识别领域中最先进的技术。我们的数据集包含了 91 种对象类型的照片，这些图片对于一个 4 岁大的孩子而言，很容易识别。最后，我们利用可变形部件模型（DPM）为边界框和分割检测结果提供了一个基线性能分析。




6. 论文：使用场景数据库学习场景识别中的深层特征（Learning deep features for scene recognition
 using places database）





链接：http://suo.im/2EOBTa


作者：Lapedriza, À., Oliva, A., Torralba, A., Xiao, J., & Zhou, B. (2014). NIPS.


数据：引用：644、HIC：65、CV：0


摘要：我们引入了一个以场景为中心的新数据库，这个数据库称为「Places」，里面包含了超过 700 万个标注好了的场景。我们提议使用新方法去比较图像数据集的密度和多样性，以表明 Places 与其它场景数据库一样密集并更具多样性。




7. 论文：生成对抗网络（Generative adversarial nets）





链接：http://suo.im/3YS5F6


作者：Bengio, Y., Courville, A.C., Goodfellow, I.J., Mirza, M., Ozair, S., Pouget-Abadie, J., Warde-Farley, D., & Xu, B. (2014) NIPS.


数据：引用：463、HIC：55、CV：0


摘要：通过对抗过程，我们提出了一个评估生成模型的新框架。在此框架中，我们同时训练两个模型：生成模型 G 捕获数据分布；判别模型 D 评估样本示来自训练数据集（而不是来自 G 中）的概率。




8. 论文：通过内核相关滤波器实现高速跟踪（High-Speed Tracking with Kernelized Correlation
 Filters）





链接：http://suo.im/2BBOea


作者：Batista, J., Caseiro, R., Henriques, J.F., & Martins, P. (2015). CoRR


数据：引用：439、HIC：43、CV：0


摘要：大多数的现代追踪器，为应对自然图像中的变化，典型的方法是采用翻译和缩放样本补丁训练分类器。我们针对包含成千上万个翻译补丁数据集提出了一个分析模型。结果表明结果数据矩阵是循环的，我们可以利用离散傅立叶变换对角化已有的循环矩阵，将存储和计算量降低了几个数量级。




9. 论文：多标签学习算法综述（A Review on Multi-Label Learning Algorithms）





链接：http://suo.im/3LgpGf


作者：Zhang, M., & Zhou, Z. (2014). IEEE TKDE


数据：引用：436、HIC：7、CV：91


摘要：本论文的主要目的是对多标签学习问题进行及时回顾。在多标签学习问题中，一个实例代表一个样本，同时，一个样本与一组标签相关联。




10. 论文：深层神经网络特征的可传递性（How transferable are features in deep neural networks）





链接：http://suo.im/aDLgu


作者：Bengio, Y., Clune, J., Lipson, H., & Yosinski, J. (2014) CoRR


数据：引用：402、HIC：14、CV：0


摘要：我们用实验量化了深层卷积神经网络中每层神经元的一般性与特异性，并报告了一些令人惊讶的结果。可传递性受到两个不同问题的不利影响：（1）以牺牲目标任务的性能为代价，实现更高层神经元对原始人物的专业化，这是预料之中的；（2）与分裂共同适应神经元（co-adapted neuron）之间的网络有关的优化困难，这是预料之外的。




11. 论文：我们需要数百种分类器来解决真实世界的分类问题吗？（Do we need hundreds of classifiers to
 solve real world classification problems）





链接：http://suo.im/2w14RK


作者：Amorim, D.G., Barro, S., Cernadas, E., & Delgado, M.F. (2014). Journal of Machine Learning Research


数据：引用：387、HIC：3、CV：0


摘要：我们评估了来自 17 个「家族」（判别分析、贝叶斯、神经网络、支持向量机、决策树、基于规则的分类器、提升、装袋、堆叠、随机森林、集成方法、广义线性模型、最近邻、部分最小二乘和主成分回归、逻辑和多项回归、多元自适应回归样条法等）的 179 个分类器。我们使用了来自 UCI 数据库中的 121 个数据集来研究分类器行为，这些行为不依赖于所选取的数据集。最终胜出的是使用
 R 语言实现的随机森林方法和 C 中使用 LibSVM 实现的带有高斯内核的 SVM。




12. 论文：知识库：一种概率知识融合的网络规模方法（Knowledge vault: a web-scale approach to probabilistic
 knowledge fusion）





链接：http://suo.im/3qCSs6


作者：Dong, X., Gabrilovich, E., Heitz, G., Horn, W., Lao, N., Murphy, K., ... & Zhang, W.(2014, August). In Proceedings of the 20th ACM SIGKDD international
 conference on Knowledge discovery and data mining ACM


数据：引用：334、HIC：7、CV：107


摘要：我们引入了一个网络规模的概率知识库，它将网页内容提取（通过文本分析、表格数据、页面结构和人工注释获得）与来自现存知识库中的先验知识相结合，以构建新知识库。我们部署监督学习方法去融合不同的信息源。该知识库比先前发布的任何结构化知识库大得多，并且具有概率推理系统，该概率推理系统能计算事实准确性的校准概率。




13. 论文：用于高维数据的可扩展最近邻算法（Scalable Nearest Neighbor Algorithms for High
 Dimensional Data）





链接：http://suo.im/hjTa4


作者：Lowe, D.G., & Muja, M. (2014). IEEE Trans. Pattern Anal. Mach. Intell.


数据：引用：324、HIC：11、CV：69


摘要：我们提出了用于近似最近邻匹配的新算法，并将其与以前的算法进行比较。为了将其扩展到大型数据集（不适合单机的存储处理）上，我们提出了一种分布式最近邻匹配框架，该框架可以与论文中描述的任何算法一起使用。




14. 论文：回顾超限学习机的发展趋势（Trends in extreme learning machines: a review）





链接：http://suo.im/3WSEQi


作者：Huang, G., Huang, G., Song, S., & You, K. (2015). Neural Networks


数据：引用：323、HIC：0、CV：0


摘要：我们的目标是报告超限学习机（ELM）的理论研究和实践进展所处的现状。除了分类和回归，ELM 最近已经被扩展到集群、特征选择、代表性学习和许多其他学习任务。由于其惊人的高效性、简单性和令人印象深刻的泛化能力，ELM 已经被广泛用于各种领域，如生物医学工程、计算机视觉、系统识别、控制和机器人。




15. 论文：一份关于概念漂移适应的调查（A survey on concept drift adaptation）





链接：http://suo.im/3bQkiz


作者：Bifet, A., Bouchachia, A., Gama, J., Pechenizkiy, M., & Zliobaite, I. ACM Comput. Surv., 2014


数据：引用：314、HIC：4、CV：23


摘要：该文全面介绍了概念漂移适应。它指的是当输入数据与目标变量之间的关系随时间变化之时的在线监督学习场景。




16. 论文：深度卷积激活特征的多尺度无序池化（Multi-scale Orderless Pooling of Deep Convolutional
 Activation Features）





链接：http://suo.im/3gNw8e


作者：Gong, Y., Guo, R., Lazebnik, S., & Wang, L. (2014). ECCV


数据：引用：293、HIC：23、CV：95


摘要：为了在不降低其辨别力的同时改善卷积神经网络激活特征的不变性，本文提出了一种简单但有效的方案：多尺度无序池化（MOP-CNN）。




17. 论文：同时检测和分割（Simultaneous Detection and Segmentation）





链接：http://suo.im/4b0ye0


作者：Arbeláez, P.A., Girshick, R.B., Hariharan, B., & Malik, J. (2014) ECCV


数据：引用：286、HIC：23、CV：94


摘要：本文的目标是检测图像中一个类别的所有实例，并为每个实例标记属于它的像素。我们称将此任务称为同时检测和分割（SDS）。




18. 论文：一份关于特征选择方法的调查（A survey on feature selection methods）





链接：http://suo.im/4BDdKA


作者：Chandrashekar, G., & Sahin, F. Int. J. on Computers & Electrical Engineering


数据：引用：279、HIC：1、CV：58


摘要：在文献中，有许多特征选择方法可用，由于某些数据集具有数百个可用的特征，这会导致数据具有非常高的维度。




19. 论文：用回归树集成方法在一毫秒内实现人脸校准（One Millisecond Face Alignment with an Ensemble
 of Regression Trees）





链接：http://suo.im/1iFyub


作者：Kazemi, Vahid, and Josephine Sullivan, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2014


数据：引用：277、HIC：15、CV：0


摘要：本文解决了单个图像的人脸校准问题。我们展示了怎样使用回归树集成来直接从像素强度的稀疏子集估计面部的地标位置，并通过高质量的预测实现了超实时性能。




20. 论文：关于作为混合系统的多分类器系统的调查（A survey of multiple classifier systems as
 hybrid systems）





链接：http://suo.im/3c9EFD


作者：Corchado, E., Graña, M., & Wozniak, M. (2014). Information Fusion, 16, 3-17.


数据：引用：269、HIC：1、CV：22


摘要：模式分类领域目前关注的焦点是几种分类器系统的组合，构建这些分类器系统可以使用相同或者不同的模型和／或数据集构建。




原文地址：http://www.kdnuggets.com/2017/04/top-20-papers-machine-learning.html

原文地址：http://www.kdnuggets.com/2017/04/top-20-papers-machine-learning.html

机器学习，尤其是其子领域深度学习，在近些年来取得了许多惊人的进展。重要的研究论文可能带来使全球数十亿人受益的技术突破。这一领域的研究目前发展非常快，为了帮助你了解进展状况，我们列出了自
 2014 年以来最重要的 20 篇科学论文。


我们筛选论文的标准是来自三大学术搜索引擎谷歌学术（scholar.google.com）、微软学术（academic.microsoft.com）和
 semanticscholar.org 的引用量。由于不同搜索引擎的引用量数据各不相同，所以我们在这里仅列出了微软学术的数据，其数据比其它两家稍低一点。




我们还给出了每篇论文的发表时间、高度有影响力的引用数量（HIC）和引用速度（CV），以上数据由 semanticscholar.org 提供。HIC 表示了以此为基础的论文情况和与其它论文的关系，代表了有意义的引用。CV 是最近
 3 年每年引用数量的加权平均。有些引用的 CV 是 0，那是因为 semanticscholar.org 上没有给出数据。这 20 篇论文中大多数（包括前 8 篇）都是关于深度学习的，但同时也很多样性，仅有一位作者（Yoshua Bengio）有 2 篇论文，而且这些论文发表在很多不同的地方：CoRR (3)、ECCV (3)、IEEE CVPR (3)、NIPS (2)、ACM Comp Surveys、ICML、IEEE PAMI、IEEE TKDE、Information Fusion、Int. J.
 on Computers & EE、JMLR、KDD 和 Neural Networks。前 2 篇论文的引用量目前远远高于其它论文。注意第 2 篇论文去年才发表！要了解机器学习和深度学习的最新进展，这些论文一定不能错过。




1. 论文：Dropout：一种防止神经网络过拟合的简单方法（Dropout:
 a simple way to prevent neural networks from overfitting）





链接：http://suo.im/3o6l4B


作者：Hinton, G.E., Krizhevsky, A., Srivastava, N., Sutskever, I., & Salakhutdinov, R. (2014). Journal of Machine Learning
 Research, 15, 1929-1958.


数据：引用：2084、HIC：142、CV：536


摘要：其关键思想是在神经网络的训练过程中随机丢弃单元（连同它们的连接点）。这能防止单元适应过度，显著减少过拟合，并相对于其它正则化方法有重大改进。




2. 论文：用于图像识别的深度残差学习（Deep Residual
 Learning for Image Recognition）





链接：http://suo.im/1JrYXX


作者：He, K., Ren, S., Sun, J., & Zhang, X. (2016). CoRR


数据：引用：1436、HIC：137、CV：582


摘要：目前的深度学习网络层数越来越多，越来越难以训练，因此我们提出了一种减缓训练压力的残差学习框架。我们明确地将这些层重新定义为与输入层有关的学习残差函数，而不是学习未被引用的函数。与此同时，我们提供了全面的经验证据以表明残差网络更容易优化，并可通过增加其层数来提升精确度。




3. 论文：批标准化：通过减少内部协移加速深度神经网络训练（Batch
 Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift）





链接：http://suo.im/3sJtk1


作者：Sergey Ioffe, Christian Szegedy (2015) ICML.


数据：引用：946、HIC：56、CV：0


摘要：训练深度神经网络的过程很复杂，原因在于每层的输入分布随着训练过程中引起的前面层的参数变化而变化。我们把这种现象称为内部协变量转移（internal covariate shift），并可利用归一化层输入来解决此问题。通过将此方法应用到最先进的图像分类模型，批标准化在训练次数减少了
 14 倍的条件下达到了与原始模型相同的精度，这表明批标准化具有明显的优势。




4. 论文：利用卷积神经网络进行大规模视频分类（Large-Scale
 Video Classification with Convolutional Neural Networks）





链接：http://suo.im/25lfXF


作者：Fei-Fei, L., Karpathy, A., Leung, T., Shetty, S., Sukthankar, R., & Toderici, G. (2014). IEEE Conference on Computer
 Vision and Pattern Recognition


数据：引用：865、HIC：24、CV：239


摘要：针对图像识别问题，卷积神经网络（CNN）被认为是一类强大的模型。受到这些结果的激励，我们使用了一个包含 487 个类别、100 万 YouTube 视频的大型数据集，对利用 CNN 进行大规模视频分类作了一次广泛的实证评估。




5. 论文：Microsoft COCO：语境中的通用对象（Microsoft
 COCO: Common Objects in Context）





链接：http://suo.im/DAXwA


作者：Belongie, S.J., Dollár, P., Hays, J., Lin, T., Maire, M., Perona, P., Ramanan, D., & Zitnick, C.L. (2014). ECCV.


数据：引用：830、HIC：78、CV：279


摘要：我们展示了一个新的数据集，通过将对象识别问题放入更广泛的场景理解问题的语境中，以推进当前对象识别领域中最先进的技术。我们的数据集包含了 91 种对象类型的照片，这些图片对于一个 4 岁大的孩子而言，很容易识别。最后，我们利用可变形部件模型（DPM）为边界框和分割检测结果提供了一个基线性能分析。




6. 论文：使用场景数据库学习场景识别中的深层特征（Learning
 deep features for scene recognition using places database）





链接：http://suo.im/2EOBTa


作者：Lapedriza, À., Oliva, A., Torralba, A., Xiao, J., & Zhou, B. (2014). NIPS.


数据：引用：644、HIC：65、CV：0


摘要：我们引入了一个以场景为中心的新数据库，这个数据库称为「Places」，里面包含了超过 700 万个标注好了的场景。我们提议使用新方法去比较图像数据集的密度和多样性，以表明 Places 与其它场景数据库一样密集并更具多样性。




7. 论文：生成对抗网络（Generative adversarial
 nets）





链接：http://suo.im/3YS5F6


作者：Bengio, Y., Courville, A.C., Goodfellow, I.J., Mirza, M., Ozair, S., Pouget-Abadie, J., Warde-Farley, D., & Xu,
 B. (2014) NIPS.


数据：引用：463、HIC：55、CV：0


摘要：通过对抗过程，我们提出了一个评估生成模型的新框架。在此框架中，我们同时训练两个模型：生成模型 G 捕获数据分布；判别模型 D 评估样本示来自训练数据集（而不是来自 G 中）的概率。




8. 论文：通过内核相关滤波器实现高速跟踪（High-Speed
 Tracking with Kernelized Correlation Filters）





链接：http://suo.im/2BBOea


作者：Batista, J., Caseiro, R., Henriques, J.F., & Martins, P. (2015). CoRR


数据：引用：439、HIC：43、CV：0


摘要：大多数的现代追踪器，为应对自然图像中的变化，典型的方法是采用翻译和缩放样本补丁训练分类器。我们针对包含成千上万个翻译补丁数据集提出了一个分析模型。结果表明结果数据矩阵是循环的，我们可以利用离散傅立叶变换对角化已有的循环矩阵，将存储和计算量降低了几个数量级。




9. 论文：多标签学习算法综述（A
 Review on Multi-Label Learning Algorithms）





链接：http://suo.im/3LgpGf


作者：Zhang, M., & Zhou, Z. (2014). IEEE TKDE


数据：引用：436、HIC：7、CV：91


摘要：本论文的主要目的是对多标签学习问题进行及时回顾。在多标签学习问题中，一个实例代表一个样本，同时，一个样本与一组标签相关联。




10. 论文：深层神经网络特征的可传递性（How transferable
 are features in deep neural networks）





链接：http://suo.im/aDLgu


作者：Bengio, Y., Clune, J., Lipson, H., & Yosinski, J. (2014) CoRR


数据：引用：402、HIC：14、CV：0


摘要：我们用实验量化了深层卷积神经网络中每层神经元的一般性与特异性，并报告了一些令人惊讶的结果。可传递性受到两个不同问题的不利影响：（1）以牺牲目标任务的性能为代价，实现更高层神经元对原始人物的专业化，这是预料之中的；（2）与分裂共同适应神经元（co-adapted
 neuron）之间的网络有关的优化困难，这是预料之外的。




11. 论文：我们需要数百种分类器来解决真实世界的分类问题吗？（Do
 we need hundreds of classifiers to solve real world classification problems）





链接：http://suo.im/2w14RK


作者：Amorim, D.G., Barro, S., Cernadas, E., & Delgado, M.F. (2014). Journal of Machine Learning Research


数据：引用：387、HIC：3、CV：0


摘要：我们评估了来自 17 个「家族」（判别分析、贝叶斯、神经网络、支持向量机、决策树、基于规则的分类器、提升、装袋、堆叠、随机森林、集成方法、广义线性模型、最近邻、部分最小二乘和主成分回归、逻辑和多项回归、多元自适应回归样条法等）的
 179 个分类器。我们使用了来自 UCI 数据库中的 121 个数据集来研究分类器行为，这些行为不依赖于所选取的数据集。最终胜出的是使用 R 语言实现的随机森林方法和 C 中使用 LibSVM 实现的带有高斯内核的 SVM。




12. 论文：知识库：一种概率知识融合的网络规模方法（Knowledge
 vault: a web-scale approach to probabilistic knowledge fusion）





链接：http://suo.im/3qCSs6


作者：Dong, X., Gabrilovich, E., Heitz, G., Horn, W., Lao, N., Murphy, K., ... & Zhang, W.(2014, August). In Proceedings
 of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining ACM


数据：引用：334、HIC：7、CV：107


摘要：我们引入了一个网络规模的概率知识库，它将网页内容提取（通过文本分析、表格数据、页面结构和人工注释获得）与来自现存知识库中的先验知识相结合，以构建新知识库。我们部署监督学习方法去融合不同的信息源。该知识库比先前发布的任何结构化知识库大得多，并且具有概率推理系统，该概率推理系统能计算事实准确性的校准概率。




13. 论文：用于高维数据的可扩展最近邻算法（Scalable
 Nearest Neighbor Algorithms for High Dimensional Data）





链接：http://suo.im/hjTa4


作者：Lowe, D.G., & Muja, M. (2014). IEEE Trans. Pattern Anal. Mach. Intell.


数据：引用：324、HIC：11、CV：69


摘要：我们提出了用于近似最近邻匹配的新算法，并将其与以前的算法进行比较。为了将其扩展到大型数据集（不适合单机的存储处理）上，我们提出了一种分布式最近邻匹配框架，该框架可以与论文中描述的任何算法一起使用。




14. 论文：回顾超限学习机的发展趋势（Trends
 in extreme learning machines: a review）





链接：http://suo.im/3WSEQi


作者：Huang, G., Huang, G., Song, S., & You, K. (2015). Neural Networks


数据：引用：323、HIC：0、CV：0


摘要：我们的目标是报告超限学习机（ELM）的理论研究和实践进展所处的现状。除了分类和回归，ELM 最近已经被扩展到集群、特征选择、代表性学习和许多其他学习任务。由于其惊人的高效性、简单性和令人印象深刻的泛化能力，ELM 已经被广泛用于各种领域，如生物医学工程、计算机视觉、系统识别、控制和机器人。




15. 论文：一份关于概念漂移适应的调查（A survey
 on concept drift adaptation）





链接：http://suo.im/3bQkiz


作者：Bifet, A., Bouchachia, A., Gama, J., Pechenizkiy, M., & Zliobaite, I. ACM Comput. Surv., 2014


数据：引用：314、HIC：4、CV：23


摘要：该文全面介绍了概念漂移适应。它指的是当输入数据与目标变量之间的关系随时间变化之时的在线监督学习场景。




16. 论文：深度卷积激活特征的多尺度无序池化（Multi-scale
 Orderless Pooling of Deep Convolutional Activation Features）





链接：http://suo.im/3gNw8e


作者：Gong, Y., Guo, R., Lazebnik, S., & Wang, L. (2014). ECCV


数据：引用：293、HIC：23、CV：95


摘要：为了在不降低其辨别力的同时改善卷积神经网络激活特征的不变性，本文提出了一种简单但有效的方案：多尺度无序池化（MOP-CNN）。




17. 论文：同时检测和分割（Simultaneous
 Detection and Segmentation）





链接：http://suo.im/4b0ye0


作者：Arbeláez, P.A., Girshick, R.B., Hariharan, B., & Malik, J. (2014) ECCV


数据：引用：286、HIC：23、CV：94


摘要：本文的目标是检测图像中一个类别的所有实例，并为每个实例标记属于它的像素。我们称将此任务称为同时检测和分割（SDS）。




18. 论文：一份关于特征选择方法的调查（A survey
 on feature selection methods）





链接：http://suo.im/4BDdKA


作者：Chandrashekar, G., & Sahin, F. Int. J. on Computers & Electrical Engineering


数据：引用：279、HIC：1、CV：58


摘要：在文献中，有许多特征选择方法可用，由于某些数据集具有数百个可用的特征，这会导致数据具有非常高的维度。




19. 论文：用回归树集成方法在一毫秒内实现人脸校准（One
 Millisecond Face Alignment with an Ensemble of Regression Trees）





链接：http://suo.im/1iFyub


作者：Kazemi, Vahid, and Josephine Sullivan, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition
 2014


数据：引用：277、HIC：15、CV：0


摘要：本文解决了单个图像的人脸校准问题。我们展示了怎样使用回归树集成来直接从像素强度的稀疏子集估计面部的地标位置，并通过高质量的预测实现了超实时性能。




20. 论文：关于作为混合系统的多分类器系统的调查（A
 survey of multiple classifier systems as hybrid systems）





链接：http://suo.im/3c9EFD


作者：Corchado, E., Graña, M., & Wozniak, M. (2014). Information Fusion, 16, 3-17.


数据：引用：269、HIC：1、CV：22


摘要：模式分类领域目前关注的焦点是几种分类器系统的组合，构建这些分类器系统可以使用相同或者不同的模型和／或数据集构建。

前言
前两天，Amusi 整理了CVPR 和 ICCV 引用量最高的10篇论文，分别详见：
众所周知，CV领域的三大顶会就是：CVPR、ICCV和ECCV。在谷歌发布的2020年的学术指标(Scholar Metrics)榜单，ECCV 位列总榜第58位，是计算机视觉领域排名第三的大会！这个排名是依据过去五年发表研究的数据(覆盖2015-2019年发表的文章)，并包括截止2020年6月在谷歌学术中被索引的所有文章的引用量。
本文就来盘点ECCV 2015-2019年引用量最高的10篇论文。根据此数据，一方面能看出这段深度学习黄金时期的研究热点，另一方面查漏补缺，看看这些必看的Top级论文是不是都掌握了。
注1：2015年之前的论文不在统计范围内
注2：引用量是根据谷歌给出的数据，会有波动，但影响不大
第一名：SSD
SSD: Single Shot MultiBox Detector
作者单位：UNC, Zoox, 谷歌, 密歇根大学
作者团队：Wei Liu, Dragomir Anguelov, Dumitru Erhan等
引用量：9097
论文链接(收录于ECCV 2016)：
其实没什么好说的，深度学习时代，目标检测必看论文之一！当初和YOLO直接制霸实时性目标检测。SSD FrameworkSSD and YOLO
第二名：Identity Mappings in Deep Residual Networks
Identity Mappings in Deep Residual Networks
作者单位：Microsoft Research
作者团队：Kaiming He(何恺明), Xiangyu Zhang, Shaoqing Ren, Jian Sun等
引用量：3778
论文链接(收录于ECCV 2016)：
本文是继ResNet(CVPR 2016)的第二篇文章，对ResNet为何能够有效的原因进行进一步的分析并且对原始模型结构进行调整，提出性能更强的网络结构，如下图所示：
第三名：Perceptual Losses for Real-Time Style Transfer and Super-Resolution
Perceptual Losses for Real-Time Style Transfer and Super-Resolution
作者单位：斯坦福大学
作者团队：Justin Johnson, Alexandre Alahi, Li Fei-Fei(李飞飞)等
引用量：3317
论文链接(收录于ECCV 2016)：
本文提出采用感知损失函数训练前馈网络进行图像转换的任务，如成功应用于风格迁移和超分辨率任务。System overview
第四名：XNOR-Net
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
作者单位：华盛顿大学
作者团队：Mohammad Rastegari, Vicente Ordonez, Joseph Redmon等
注：作者中惊现YOLO之父 Joseph Redmon(之前看论文时，都没注意到)
引用量：2203
论文链接(收录于ECCV 2016)：
XNOR 使用位运算和异或运算替换了加减运算，实现了速度的大幅提升。
说句题外话，感觉模型压缩里的几个细分方向中，剪枝的论文比二值(化)的论文要多很多。Binary-Weight-Networks 和XNOR-Networks
第五名：Stacked Hourglass Networks
Stacked Hourglass Networks for Human Pose Estimation
作者单位：密歇根大学
作者团队：Alejandro Newell, Kaiyu Yang, Jia Deng
引用量：1825
论文链接(收录于ECCV 2016)：
本文提出了知名的 Stacked Hourglass Networks(堆叠沙漏网络)，其在人体关键点检测任务上表现很好。同时拿下MPII 2016冠军！Single “hourglass” module
第六名：DeepLabv3+
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
作者单位：谷歌
作者团队：Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroff, Hartwig Adam
引用量：1782
论文链接(收录于ECCV 2018)：
DeepLab系列 在语义分割中的重要性应该相当于R-CNN系列在目标检测中的重要性，而这篇DeepLabv3+ 也正是目前该系列的最终篇。技巧很多，如将depthwise separable convolution应用于ASPP中，最终性能超级强。DeepLabv3+
第七名：Center Loss
A Discriminative Feature Learning Approach for Deep Face Recognition
作者单位：中国科学院深圳先进技术研究院&港中文
作者团队：Yandong Wen , Kaipeng Zhang, Zhifeng Li, Yu Qiao
引用量：1540
论文链接(收录于ECCV 2016)：
本文提出center loss 让softmax 能够训练出更有内聚性的特征。核心目标还是为了增加类间距离，减小类内距离。
第八名：TSN
Temporal Segment Networks: Towards Good Practices for Deep Action Recognition
作者单位：ETH Zurich&港中文&中国科学院深圳先进技术研究院
作者团队：Limin Wang(王利民), Yuanjun Xiong, Zhe Wang, Yu Qiao, Dahua Lin, Xiaoou Tang, and Luc Van Gool
引用量：1465
论文链接(收录于ECCV 2016)：
TSN 是行为/动作识别、视频理解方向必读的论文之一！基于TSN 还夺得了 ActivityNet challenge 2016 冠军，其期刊版论文也收录于TPAMI 2018。TSN
第九名：SiamFC
Fully-Convolutional Siamese Networks for Object Tracking
作者单位：牛津大学
作者团队：Luca Bertinetto, Jack Valmadre, Jo˜ao F. Henriques等
引用量：1326
论文链接(收录于ECCV 2016)：
SiamFC 深度学习时代目标跟踪方向的开山之作！引领了一系列孪生网络，比如后面的SiamRPN、SiamFC++、SiamRPN++、SiamMask等。SiamFC
第十名：Colorful Image Colorization
Colorful Image Colorization
作者单位：加州大学伯克利分校
作者团队：Richard Zhang, Phillip Isola, Alexei A. Efros
引用量：1090
论文链接(收录于ECCV 2016)：
对灰度图进行自动着色Network Architecture
侃侃
1. DeepLabv3+是唯一一篇收录于ECCV 2018的论文，其他均是2016；
2. 谷歌、密歇根大学、中国科学院深圳先进技术研究院和香港中文大学均有两篇论文入围；
下载
上述10篇论文已打包好，资源链接如下：
推荐大家关注计算机视觉论文速递知乎专栏和CVer微信公众号，可以快速了解到最新优质的CV论文。
推荐阅读

https://www.toutiao.com/a6642217664624198157/

 

2019-01-03 18:36:54

在过去的几年里，作为机器学习和统计学习的子领域，深度学习已经在诸多领域取得了令人印象深刻的突破。鲁棒性的开源工具、云计算以及大量可用的数据是深度学习能够取得成功的重要基石。下面，我们列出2018年度十大深度学习论文：

▌1.Deep Learning, by Yann L., Yoshua B. & Geoffrey H. (2015) (Cited: 5,716):

深度学习是一种由多个处理层组成的计算模型，它能够学习数据的多层次抽象表征。目前，这类方法已经在目标检测、语音识别、视觉目标识别以及许多其他领域（诸如药物发现和基因组学）取得了当前最佳的性能。

PDF链接：https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

▌2.TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems, by Martín A., Ashish A. B., Eugene B. C., et al. (2015) (Cited: 2,423)

这是一个灵活的深度学习系统，它可以用来表达各种算法，包括深度神经网络模型的训练及推理算法，并且众多研究者利用它并将其部署到机器学习系统中，以实现多种任务，包括信息检索，语音识别，机器人技术，计算机视觉，地理信息提取，自然语言处理，计算药物发现等十几个计算机科学及其他领域。

PDF链接：http://download.tensorflow.org/paper/whitepaper2015.pdf

▌3.TensorFlow: a system for large-scale machine learning, by Martín A., Paul B., Jianmin C., Zhifeng C., Andy D. et al. (2016) (Cited: 2,227)

TensorFlow 是一个开源项目，主要用于解决深度神经网络的训练和推理问题。它支持各种应用程序。Google 的许多服务和应用都使用到了 TensorFlow。随着时间的推移，它也被广泛用于机器学习领域的研究。

PDF链接：https://www.usenix.org/system/files/conference/osdi16/osdi16-abadi.pdf

▌4.Deep learning in neural networks, by Juergen Schmidhuber (2015) (Cited: 2,196)

这篇论文是对深度学习、深度神经网络的发展历程及其相关工作的综述。其中大部分的内容介绍了上个世纪的研究成果。浅层和深层的神经网络是根据信用分配路径的深度进行区别的，信用分配路径是通过行为和效果之间因果关系链所决定的，而这种因果关联关系是可以学习的。

PDF链接：https://arxiv.org/pdf/1404.7828.pdf

▌5.Human-level control through deep reinforcement learning, by Volodymyr M., Koray K., David S., Andrei A. R., Joel V et al (2015) (Cited: 2,086)

这篇论文开发一种被称为深度“Q-网络”的新型人工智能体。利用最近在深度神经网络训练方面的进展，我们使用一种端到端强化学习策略，直接从高维的传感输入中学习成功的策略。此外，这种智能体已经在经典 Atari 2600 游戏的一些挑战性领域中的得到了测试。

PDF链接：

https://web.stanford.edu/class/psych209/Readings/MnihEtAlHassibis15NatureControlDeepRL.pdf

▌6.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, by Shaoqing R., Kaiming H., Ross B. G. & Jian S. (2015) (Cited: 1,421)

在这项工作中，我们将介绍区域建议网络（RPN），全卷积图像特征，用于实现共享的区域建议检测网络。区域建议网络是一种全卷积神经网络，它能够共享检测区域，并在每个位置同时预测出目标边界及客观得分。

PDF链接：https://arxiv.org/pdf/1506.01497.pdf

▌7.Long-term recurrent convolutional networks for visual recognition and description, by Jeff D., Lisa Anne H., Sergio G., Marcus R., Subhashini V. et al. (2015) (Cited: 1,285)

不同于固定时空感受野（fixed spatio-temporal receptive field）或用于序列数据处理的简单平均时序模型，循环卷积神经网络能够通过“双重深入”机制，在空间和时间层次实现模型的融合。

PDF链接：https://arxiv.org/pdf/1411.4389.pdf

▌8.MatConvNet:Convolutional Neural Networks for MATLAB, by Andrea Vedaldi & Karel Lenc (2015) (Cited: 1,148)

这种模型易于使用，并在 MATLAB 中开源了其 CNN 构建块函数，提供了计算带滤波器组的线性卷积的路径，特征池化等等。这篇论文将概述了卷积神经网络结构及其在 MatConvNet 中的实现方式，并在每个计算块的工具箱中给出了相同的技术细节。

PDF链接：https://arxiv.org/pdf/1412.4564.pdf

▌9.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, by Alec R., Luke M. & Soumith C. (2015) (Cited: 1,054)

在这项工作中，我们主要关注的是弥合 CNN 在监督学习和无监督学习方面差距。这篇论文中我们将介绍一类带一定的架构约束 CNN 模型，称之为深度卷积生成对抗网络（DCGAN），实验结果表明它们是一种有前途的非监督学习方式。

PDF链接：https://arxiv.org/pdf/1511.06434.pdf

▌10.U-Net: Convolutional Networks for Biomedical Image Segmentation, by Olaf R., Philipp F. &Thomas B. (2015) (Cited: 975)

深度神经网络的成功需要许多带标注训练样本，这是一个共识。在这篇论文里，我们将提出一种新的网络结构及训练策略，以便更有效地使用现有的标注样本来训练模型，这完全依赖于强大的数据增强功能。

PDF链接：https://arxiv.org/pdf/1505.04597.pdf

以上是 2018 年度十大深度学习论文的简单摘要，关于论文的详细信息，可以参考每篇论文下面的原文链接。

译者 | 林椿眄