带你读论文 | 微软亚洲研究院高被引论文不完全清单（上篇）-轻识

新智元报道

来源：微软研究院AI头条

【新智元导读】本文基于 Paper Digest 网站所整理列出的「最具影响力论文」进行梳理。

最近一段时间，Paper Digest 网站以“论文的一句话摘要”成为了计算机领域学术圈关注和讨论的话题之一。该网站按照不同的研究方向对计算机领域的一些热门顶会进行了分类（如下图），并且根据论文的引用量，在部分顶会的“最具影响力论文”板块中对收录的论文进行了影响力排名。该排名实时变动，且每一届顶会只评选引用量靠前的10-15篇论文。

基于 Paper Digest 网站所梳理的“最具影响力论文”，我们为大家精选了历年来微软亚洲研究院的一些代表性论文。虽然由于网站收录的大会有限，并不能涵盖研究院的所有研究领域，论文引用量也不能完全代表其影响力，但我们希望这份清单可以让大家更好地了解一些热门领域的研究动向，并给大家的学术研究带来一些启发。由于微软亚洲研究院入选的文章较多，所以我们将分上下两篇文章来分享这些论文。

今天的文章将介绍机器学习、计算机视觉、自然语言处理以及信息检索领域的34篇亮点论文。其中包括：排序算法、序列到序列模型、视觉-语言预训练模型、质量估计、模型架构、向量的篇章表示方法、机器翻译、人体姿态估计、情感分析、命名实体识别、特征选择、梯度下降、混合索引、半结构化数据处理、性能度量……

机器学习领域顶会：ICML、ICLR、NeurIPS

ICML 2007：Learning To Rank: From Pairwise Approach To Listwise Approach

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr-2007-40.pdf

论文亮点：打破“排序是对 object 两两比较”的传统思维，微软亚洲研究院创新性地提出了“排序学习在训练时应该将待排序的所有 object 放在一起考量计算损失”。

ICML 2008：Listwise Approach To Learning To Rank: Theory And Algorithm

https://dl.acm.org/doi/10.1145/1390156.1390306

论文亮点：该论文对 listwise 学习排序算法进行了理论分析，并给出了排序一致性的充分条件。

ICML 2019：MASS: Masked Sequence To Sequence Pre-training For Language Generation

http://proceedings.mlr.press/v97/song19d/song19d.pdf

论文亮点：受 BERT 算法启发，微软亚洲研究院专门针对序列到序列的自然语言生成任务，提出了新的预训练方法 MASS：掩码序列到序列预训练（MASS: Masked Sequence to Sequence Pre-training）。

ICLR 2020：VL-BERT: Pre-training Of Generic Visual-Linguistic Representations

https://openreview.net/forum?id=SygXPaEYvH

论文亮点：虽然简单，但很强大，VL-BERT 是一个通用的视觉-语言预训练模型，采用 Transformer 模型作为主干网络，并将其输入扩展为同时包含视觉与语言输入的多模态形式，适用于绝大多数视觉-语言下游任务。

NeurIPS 2015: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

https://papers.nips.cc/paper/2015/file/14bfa6bb14875e45bba028a21ed38046-Paper.pdf

论文亮点：论文提出了一种端到端的物体检测器，作为一种物体检测的基准方法，直到现在还在被广泛应用。

NeurIPS 2016: R-FCN: Object Detection via Region-based Fully Convolutional Networks

https://papers.nips.cc/paper/2016/file/577ef1154f3240ad5b9b413aa7346a1e-Paper.pdf

论文亮点：论文提出了一种位置敏感的感兴趣区域池化算子，基于这一算子进一步提出了第一个基于全卷积网络的物体检测方法 R-FCN。

NeurIPS 2017：LightGBM: A Highly Efficient Gradient Boosting Decision Tree

https://papers.nips.cc/paper/2017/hash/6449f44a102fde848669bdd9eb6b76fa-Abstract.html

论文亮点：针对特征维度很高或者数据量很大时模型效率和可扩展的问题，微软亚洲研究院提出了基于梯度的 one-side 采样和互斥的特征捆绑两种解决方法，设计了目前速度最快、效果最好的梯度提升树算法。

NeurIPS 2019：Unified Language Model Pre-training For Natural Language Understanding And Generation

https://papers.nips.cc/paper/2019/hash/c20bb2d9a50d5ac1f713f8b34d9aac5a-Abstract.html

论文亮点：论文提出了一种新的统一预训练语言模型（UniLM）同时支持语言理解和语言生成任务，囊括了多种语言模型参数和结构，参数共享使得模型学习到的文本表征更加通用。

计算机视觉领域顶会：CVPR、ICCV

CVPR 2013：Salient Object Detection: A Discriminative Regional Feature Integration Approach

https://openaccess.thecvf.com/content_cvpr_2013/html/Jiang_Salient_Object_Detection_2013_CVPR_paper.html

论文亮点：文章将显著性物体检测问题视为一个回归问题，提出了第一个成功的有监督特征融合的方法，启发了有监督的深度学习特征融合算法。

CVPR 2016：Deep Residual Learning For Image Recognition

https://openaccess.thecvf.com/content_cvpr_2016/html/He_Deep_Residual_Learning_CVPR_2016_paper.html

论文亮点：微软亚洲研究院提出了一个残差学习框架，以训练比以前使用的网络层数更深的网络。

CVPR 2019：Deep High-Resolution Representation Learning For Human Pose Estimation

https://openaccess.thecvf.com/content_CVPR_2019/html/Sun_Deep_High-Resolution_Representation_Learning_for_Human_Pose_Estimation_CVPR_2019_paper.html

论文亮点：论文提出了高分辨率深度神经网络（HRNet），学到比以往的网络更强的高分辨率表征，在诸多视觉问题，如人体姿态估计、语义分割、目标检测等，取得了更好的结果。

ICCV 2015: Delving Deep Into Rectifiers: Surpassing Human-Level Performance On ImageNet Classification

https://openaccess.thecvf.com/content_iccv_2015/html/He_Delving_Deep_into_ICCV_2015_paper.html

论文亮点：该论文提出了一种参数化的非线性激活层 PReLU，以及一种新的参数初始化方法，第一次在 ImageNet-1K 分类数据集上取得超越人类的表现。

ICCV 2017：Deformable Convolutional Networks

https://openaccess.thecvf.com/content_iccv_2017/html/Dai_Deformable_Convolutional_Networks_ICCV_2017_paper.html

论文亮点：该论文提出了可变形卷积，可能是目前针对基本的卷积算子最有趣的改进之一，相比卷积取得了好得多的性能。

自然语言处理领域顶会：ACL、EMNLP、NAACL

ACL 2004：Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statistics

https://www.aclweb.org/anthology/P04-1077/

论文亮点：文章描述了两种新的机器翻译客观自动评价方法。这两种方法在充分性和流畅性方面都与人的判断有很好的相关性。

ACL 2011：Target-dependent Twitter Sentiment Classification

https://www.aclweb.org/anthology/P11-1016/

论文亮点：为了解决传统基于目标的推特情感分类方法忽略上下文(即相关推文)的缺点，微软亚洲研究院提出了通过加入目标相关特征和考虑相关推文两个方式改进目标相关推特情感分类的性能。

ACL 2011：Recognizing Named Entities In Tweets

https://www.aclweb.org/anthology/P11-1037/

论文亮点：Tweets 命名实体识别（NER）面临的挑战在于推特信息不足和没有训练数据。本文提出了在半监督学习框架下结合K-近邻（KNN）分类器和线性条件随机场（CRF）模型来应对这些挑战。

ACL 2014：Learning Sentiment-Specific Word Embedding for Twitter Sentiment Classification

https://www.aclweb.org/anthology/P14-1146/

论文亮点：该论文通过将情感信息引入到词嵌入的学习过程中，得到情感倾向敏感的词嵌入，当应用在情感分类任务上时，分类性能有明显提升。

ACL 2014：Adaptive Recursive Neural Network For Target-dependent Twitter Sentiment Classification

https://www.aclweb.org/anthology/P14-2009/

论文亮点：本文提出的模型主要基于依存树的递归神经网络，解决判断句子针对不同目标（target）表达的情感问题。

ACL 2015：Question Answering Over Freebase With Multi-Column Convolutional Neural Networks

https://www.aclweb.org/anthology/P15-1026/

论文亮点：微软亚洲研究院提出了 MCCNNs 模型，并尝试让模型从三个不同层面（答案路径，答案类型，答案上下文）来理解问题。

ACL 2017：Gated Self-Matching Networks For Reading Comprehension And Question Answering

https://aclweb.org/anthology/P17-1018

论文亮点：本文提出了用于阅读理解式答题的门控自匹配网络（gated self-matching networks），用以回答针对给定文本段落的问题。

EMNLP 2007：Low-Quality Product Review Detection in Opinion Summarization

https://www.aclweb.org/anthology/D07-1035/

论文亮点：在线购物网站上发布的产品评论质量差异很大，因此文章提出了一种基于分类的方法来检测低质量的评论。

EMNLP 2015：Document Modeling With Gated Recurrent Neural Network For Sentiment Classification

https://www.aclweb.org/anthology/D15-1167/

论文亮点：文章引入了从下向上的、基于向量的篇章表示方法，其思路是首先用 CNN/LSTM 实现单句表示，再用 gated RNN 编码句子间的内在关系和语义联系。

EMNLP 2016：Aspect Level Sentiment Classification With Deep Memory Network

https://aclweb.org/anthology/D16-1021

论文亮点：文章介绍的是使用 Deep Memory Network，在方面级分类任务（aspect level）上做情感分类。

EMNLP 2020：CodeBERT: A Pre-Trained Model For Programming And Natural Languages

https://www.aclweb.org/anthology/2020.findings-emnlp.139/

论文亮点：微软亚洲研究院提出了一个可处理双模态数据的新预训练模型 CodeBERT，除了自然语言（NL），编程语言（PL）如今也可以进行预训练了。

EMNLP 2020：ProphetNet: Predicting Future N-gram For Sequence-to-Sequence Pre-training

https://www.aclweb.org/anthology/2020.findings-emnlp.217

论文亮点：论文提出了一个新的 seq2seq 预训练模型：ProphetNet（先知网络）。该模型带有一个新颖的自监督学习目标函数即预测未来的 N 元组（Predicting Future N-gram），以及提出的 n-stream 自注意力机制。

NAACL 2003：Automatic Evaluation of Summaries Using N-gram Co-occurrence Statistics

https://www.aclweb.org/anthology/N03-1020/

论文亮点：机器翻译界常常采用 BLEU/NIST 作为指标评分，这篇论文对类似的文本摘要评估思想进行了深入研究。

信息检索领域顶会：SIGIR、CIKM

SIGIR 2006：Adapting Ranking SVM To Document Retrieval

https://dl.acm.org/doi/10.1145/1148170.1148205

论文亮点：论文讲 Ranking SVM 引入到文档检索中，并针对文档检索创新改进了 Ranking SVM 的损失函数。

SIGIR 2007：Feature Selection For Ranking

https://dl.acm.org/doi/10.1145/1277741.1277811

论文亮点：文章针对排序学习提出了一种新的特征选择方法，在考量单维特征的有效性的同时避免了强相关的特征。

SIGIR 2010：Learning To Rank For Information Retrieval

https://dl.acm.org/doi/abs/10.1145/1835449.1835676

论文亮点：该教程对信息检索中的排序学习做了一个全面而系统的介绍：（1）首先介绍了三类主要方法（基于单文档、文档对、文档 list），分析了这些方法中使用的损失函数与广泛使用的 IR 评价指标之间的关系，在标准测试集 LETOR 上测试对比了各算法的性能；（2）然后综述了排序学习的一些深入课题如关系排序、多元化排序、半监督及迁移排序、数据预处理等等；（3）最后介绍了排序问题中的统计学习理论，解释了不同算法的泛化能力和统计一致性。

SIGIR 2017：Word-Entity Duet Representations For Document Ranking

https://dl.acm.org/doi/10.1145/3077136.3080768

论文亮点：文章提出了基于 word 和 entity 来对 query 和 doc 进行表达的方法。给半结构化数据对排序特征进行优化和扩充提供了思路。

SIGIR 2017：Leveraging Contextual Sentence Relations For Extractive Summarization Using A Neural Attention Model

https://dl.acm.org/doi/10.1145/3077136.3080792

论文亮点：论文提出使用 Hierarchical Attention Model 完成文章的摘要提取。

CIKM 2005: Hybrid Index Structures For Location-based Web Search

https://dl.acm.org/doi/abs/10.1145/1099554.1099584

论文亮点：本文提出了一种结合倒排文件和 R* 树的混合索引结构来同时处理文本查询和位置感知查询（location aware queries）。

CIKM 2011: Topic Sentiment Analysis In Twitter: A Graph-based Hashtag Sentiment Classification Approach

https://dl.acm.org/doi/abs/10.1145/2063576.2063726

论文亮点：文章重点研究了 hashtag 级别的情感分类问题。

CIKM 2018: RippleNet: Propagating User Preferences On The Knowledge Graph For Recommender Systems

https://dl.acm.org/doi/10.1145/3269206.3271739

论文亮点：为了解决基于路径的方法的限制，微软亚洲研究院提出了 RippleNet，可以利用用户曾经的点击记录，不断外扩发掘用户可能的兴趣点。

由于篇幅有限，更多精彩内容，请期待《微软亚洲研究院高被引论文不完全清单（下篇）》。

在《下篇》我们将会介绍，微软亚洲研究院在人工智能顶会 IJCAI、AAAI；数据挖掘顶会 KDD；网络顶会 SIGCOMM、WWW、MOBICOM 等等中的一些代表性论文。