據悉，本次(ci)大(da)會共收到有效投稿(gao)6743篇(pian)，最終1428篇(pian)論(lun)(lun)文被接(jie)收，接(jie)收率達到21.2%（略高于(yu)去年的(de)20.8%）。在接(jie)收的(de)論(lun)(lun)文中，還有36篇(pian)Oral論(lun)(lun)文和164篇(pian)Spotlight論(lun)(lun)文。

從每篇(pian)論文(wen)作(zuo)者(zhe)(zhe)數量來看， NeurIPS2019接收的論文(wen)大多數都有(you)3-4個作(zuo)者(zhe)(zhe)，其(qi)中(zhong)(zhong)3個作(zuo)者(zhe)(zhe)的共有(you)360篇(pian)，4個作(zuo)者(zhe)(zhe)的共有(you)320篇(pian)。擁有(you)10個作(zuo)者(zhe)(zhe)以上(shang)的論文(wen)共有(you)15篇(pian)，其(qi)中(zhong)(zhong)有(you)1篇(pian)文(wen)章(zhang)擁有(you)21個作(zuo)者(zhe)(zhe)。

從(cong)作(zuo)者(zhe)維度分(fen)析，NeurIPS2019接(jie)收的1427篇(pian)共來自4423位(wei)作(zuo)者(zhe)。其中3692位(wei)作(zuo)者(zhe)有(you)1篇(pian)入選(xuan)，510位(wei)作(zuo)者(zhe)有(you)2篇(pian)入選(xuan)，132位(wei)作(zuo)者(zhe)有(you)3篇(pian)入選(xuan)，48位(wei)作(zuo)者(zhe)有(you)4篇(pian)入選(xuan)。

超過(guo)5篇入(ru)選的(de)作(zuo)者共有(you)44位。其中，有(you)1位作(zuo)者有(you)12篇入(ru)選，他就是加州大(da)(da)學伯(bo)克利分校EECS助理教授Sergey Levine；其次是INRIA的(de)大(da)(da)牛(niu)Francis Bach，共有(you)10篇。伯(bo)克利大(da)(da)牛(niu)Pieter Abbeel和圖靈獎得主Yoshua Bengio都(dou)有(you)9篇入(ru)選。

在華人作者(zhe)中，論文入選(xuan)數最多的是陶大(da)(da)程，共有8篇入選(xuan)。陶大(da)(da)程是澳大(da)(da)利亞科學(xue)院院士(shi)、悉尼(ni)大(da)(da)學(xue)教授(shou)，同時也擔任優必(bi)選(xuan)機器人的首(shou)席科學(xue)家。

來自(zi)普林斯頓大學運籌(chou)學與金融(rong)工(gong)程系的(de)博(bo)士(shi)研(yan)究(jiu)生楊卓然與美國西(xi)北大學助理教授Zhaoran Wang分別(bie)有(you)7篇和6篇論文入選。

Zhuoran Yang（楊卓然）是普林斯(si)頓大學(xue)(xue)(xue)(xue)運籌學(xue)(xue)(xue)(xue)與(yu)金融工程系(xi)的(de)博士研(yan)究(jiu)生。于(yu)2015年(nian)獲得清華大學(xue)(xue)(xue)(xue)數學(xue)(xue)(xue)(xue)系(xi)學(xue)(xue)(xue)(xue)士學(xue)(xue)(xue)(xue)位，研(yan)究(jiu)方向是統計機器學(xue)(xue)(xue)(xue)習和增強學(xue)(xue)(xue)(xue)習。

從一作(zuo)(zuo)(zuo)統(tong)計，共有(you)59位作(zuo)(zuo)(zuo)者(zhe)有(you)2篇以上(shang)（包括2篇）論文(wen)入選，其(qi)中，以一作(zuo)(zuo)(zuo)身份發(fa)表3篇以上(shang)論文(wen)作(zuo)(zuo)(zuo)者(zhe)的共有(you)8位，還有(you)1位作(zuo)(zuo)(zuo)者(zhe)發(fa)表了4篇，他就是“計算機金牌王子(zi)”--朱澤園，在(zai)NeurIPS2018與 ICML 2017 上(shang)，朱澤園分(fen)別也有(you)4篇、5篇以一作(zuo)(zuo)(zuo)論文(wen)被(bei)接(jie)收(shou)。

朱(zhu)澤園目前就職于微軟總(zong)部研(yan)究(jiu)院，主(zhu)要致(zhi)力于機(ji)(ji)器學(xue)習(xi)和(he)優化(hua)問題的(de)數學(xue)基礎的(de)相關研(yan)究(jiu)，并(bing)將它們應用于深度學(xue)習(xi)、理論(lun)計(ji)算機(ji)(ji)科學(xue)、運籌學(xue)和(he)統計(ji)學(xue)。

從作(zuo)者所屬國(guo)家來看，華人參與的論(lun)文(wen)(wen)共有(you)656篇，占總(zong)論(lun)文(wen)(wen)數(shu)的46%。其中華人一作(zuo)論(lun)文(wen)(wen)共有(you)471篇，占華人參與論(lun)文(wen)(wen)數(shu)的71.8%，占總(zong)論(lun)文(wen)(wen)數(shu)的33%。

從論文(wen)所屬機(ji)構來看，Google+DeepMind組合高居(ju)榜首，入(ru)選論文(wen)共(gong)計(ji)171篇(pian)。MIT排(pai)名(ming)第二，92篇(pian)論文(wen)入(ru)選。斯坦福大(da)(da)學、卡內基梅隆(long)大(da)(da)學排(pai)名(ming)第三(san)，都有(you)85篇(pian)入(ru)選。

國內高校中(zhong)，清(qing)華(hua)大(da)(da)學(xue)入選論(lun)文(wen)最多，共計35篇(pian)(pian)，排(pai)在(zai)總榜的(de)第(di)13位；北京大(da)(da)學(xue)有25篇(pian)(pian)入選，排(pai)在(zai)總榜第(di)19位。

NeurIPS2019 杰出論(lun)(lun)(lun)文(wen)(wen)委員會(hui)的(de)(de)(de)五位成員會(hui)從(cong)做oral presentation的(de)(de)(de)論(lun)(lun)(lun)文(wen)(wen)中進(jin)(jin)行選(xuan)擇，根據論(lun)(lun)(lun)文(wen)(wen)的(de)(de)(de)長(chang)期(qi)潛力、洞察力、創造性(xing)、革(ge)命(ming)性(xing)、科學性(xing)、可重復(fu)性(xing)等原則作為評選(xuan)標(biao)準進(jin)(jin)行初步(bu)分類(lei)，選(xuan)出三篇論(lun)(lun)(lun)文(wen)(wen)的(de)(de)(de)短(duan)名單(dan)(dan)和一個八篇備選(xuan)論(lun)(lun)(lun)文(wen)(wen)的(de)(de)(de)長(chang)名單(dan)(dan)，然后各自再對(dui)對(dui)這八篇論(lun)(lun)(lun)文(wen)(wen)進(jin)(jin)行評估并為每篇論(lun)(lun)(lun)文(wen)(wen)定級，同時也(ye)會(hui)尋求更多的(de)(de)(de)專家意見作為參考，最終確定獲(huo)獎名單(dan)(dan)。

杰出論文獎

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

作(zuo)者(zhe)：Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos（威斯康辛大學麥迪遜分校、馬普所(suo)）

論文地址：

摘(zhai)要：這(zhe)篇(pian)論(lun)文(wen)研究了在(zai)訓練數據中有未知的(de)(de)(de)、有界的(de)(de)(de)標簽噪聲(sheng)的(de)(de)(de)情況下，如何(he)為二分類問(wen)題學習(xi)線性閾值函數。論(lun)文(wen)推導出一(yi)個在(zai)這(zhe)種(zhong)情境下非常高(gao)效(xiao)的(de)(de)(de)學習(xi)算法(fa)，解(jie)決了一(yi)個基礎(chu)的(de)(de)(de)、長(chang)期存在(zai)的(de)(de)(de)開(kai)放(fang)性問(wen)題：在(zai)有Massart噪聲(sheng)的(de)(de)(de)情況下高(gao)效(xiao)地學習(xi)半(ban)空(kong)間；這(zhe)也是機器學習(xi)的(de)(de)(de)核心問(wen)題之一(yi)，這(zhe)篇(pian)論(lun)文(wen)帶來了巨大的(de)(de)(de)進步(bu)。

論文(wen)中(zhong)的(de)一個簡單的(de)例子證(zheng)明了(le)該方法(fa)的(de)效(xiao)(xiao)果(guo)。在(zai)此之前，只有1% Massart噪聲(sheng)就會讓弱(ruo)學習(xi)無效(xiao)(xiao)（達到49%的(de)錯誤率(lv)）。論文(wen)中(zhong)展示了(le)如何高效(xiao)(xiao)地讓錯誤水(shui)平上限僅僅等(deng)于Massart噪聲(sheng)水(shui)平+ε （算法(fa)的(de)運(yun)行時(shi)間(jian)為（1/ε）的(de)多(duo)(duo)項(xiang)式，正如預期）。算法(fa)的(de)實(shi)現(xian)方法(fa)很(hen)精密(mi)，達到這(zhe)樣的(de)結果(guo)也(ye)有一定(ding)的(de)技術挑戰(zhan)。最終(zhong)的(de)結果(guo)是(shi)，能夠高效(xiao)(xiao)地在(zai)（1/ε）的(de)多(duo)(duo)項(xiang)式運(yun)行時(shi)間(jian)內讓錯誤水(shui)平上限為Massart噪聲(sheng)水(shui)平+ε 。

杰出新方向論文獎

Uniform convergence may be unable to explain generalization in deep learning

作(zuo)者(zhe)：Vaishnavh Nagarajan、J. Zico Kolter（卡耐基梅(mei)隆大學、博世人工智能(neng)中心）

論文地址：

為(wei)了解釋過(guo)參數(shu)化深(shen)度網絡(luo)令人驚(jing)訝的(de)(de)良(liang)好(hao)泛(fan)化性能，近期的(de)(de)論(lun)文為(wei)深(shen)度學習開發出了各種(zhong)泛(fan)化邊界，這些(xie)邊界都(dou)是基于(yu)一致(zhi)收斂理論(lun)上(shang)的(de)(de)基本學習技巧。許多現有的(de)(de)邊界在(zai)數(shu)值(zhi)上(shang)都(dou)很大(da)，通過(guo)大(da)量的(de)(de)實驗，作者揭示(shi)了這些(xie)界限的(de)(de)一個(ge)更值(zhi)得關注的(de)(de)方面：實際(ji)上(shang)，這些(xie)邊界可以(yi)隨(sui)著(zhu)訓練數(shu)據集(ji)的(de)(de)增(zeng)大(da)而(er)增(zeng)大(da)。

根據觀察結果，他們(men)隨后給(gei)出了一(yi)些(xie)(xie)用梯度下降（gradient descent， GD）訓(xun)練的(de)(de)(de)過參數化(hua)線性分(fen)類(lei)器和(he)神經網絡的(de)(de)(de)例(li)子，而(er)在(zai)這(zhe)(zhe)些(xie)(xie)例(li)子中(zhong)，一(yi)致(zhi)收(shou)斂被(bei)證(zheng)明不能「解釋(shi)泛化(hua)」--即使(shi)盡可(ke)能充分(fen)地考(kao)慮了梯度下降的(de)(de)(de)隱含偏見。更加確切地說，即使(shi)只考(kao)慮梯度下降輸出的(de)(de)(de)分(fen)類(lei)器集，這(zhe)(zhe)些(xie)(xie)分(fen)類(lei)器的(de)(de)(de)測試誤差(cha)小(xiao)于設置中(zhong)的(de)(de)(de)一(yi)些(xie)(xie)小(xiao)的(de)(de)(de)ε。研究(jiu)者也表明，對這(zhe)(zhe)組分(fen)類(lei)器應用（雙邊(bian)，two-sided）一(yi)致(zhi)收(shou)斂將只產生一(yi)個空洞的(de)(de)(de)大(da)于 1-ε的(de)(de)(de)泛化(hua)保證(zheng)。通過這(zhe)(zhe)些(xie)(xie)發現，研究(jiu)者對基于一(yi)致(zhi)收(shou)斂的(de)(de)(de)泛化(hua)邊(bian)界的(de)(de)(de)能力提出了質疑，從而(er)全面了解為什么過參數化(hua)深度網絡泛化(hua)得很好。

杰出論文獎榮譽提名

Nonparametric density estimation & convergence of GANs under Besov IPM losses

作者：Ananya Uppal、Shashank Singh、Barnabás Póczos（卡內基(ji)梅隆大學）

論文地址：

在本文中，作者(zhe)探究了大(da)型損(sun)失函(han)數(shu)族（Besov IPM）的非參概率密(mi)度估計問題(ti)，該函(han)數(shu)族包括(kuo) L^p 距離、總變(bian)分距離，以及 Wasserstein 距離和 KolmogorovSmirnov 距離的泛華版本。對于各種損(sun)失函(han)數(shu)設置，研究者(zhe)提供(gong)了上下界，精(jing)確明確了損(sun)失函(han)數(shu)與數(shu)據假(jia)設的選擇(ze)，如何影響極小(xiao)極大(da)最優收斂(lian)率的確定。

作(zuo)者同(tong)樣展示(shi)了線(xian)性分(fen)布(bu)(bu)估(gu)計(ji)(ji)經常不能(neng)達到(dao)最(zui)(zui)優收斂率(lv)，例(li)如(ru)經驗分(fen)布(bu)(bu)或(huo)核密度估(gu)計(ji)(ji)器(qi)等(deng)線(xian)性分(fen)布(bu)(bu)。他們(men)得出來的上下界能(neng)幫助泛化、統一(yi)(yi)或(huo)提升一(yi)(yi)些最(zui)(zui)經典研究(jiu)(jiu)成果(guo)。此外，IPM 可(ke)以用于形(xing)式化生成對(dui)抗網(wang)絡的統計(ji)(ji)模(mo)型。因此，研究(jiu)(jiu)者展示(shi)了該結果(guo)如(ru)何表明 GAN 的統計(ji)(ji)誤差邊界，例(li)如(ru) GAN 要嚴格超越最(zui)(zui)好的線(xian)性估(gu)計(ji)(ji)器(qi)。

Fast and Accurate Least-Mean-Squares Solvers

作者：Alaa Maalouf、Ibrahim Jubran、Dan Feldman（以色列海法大學）

論文地址：

本文從(cong)線性、Lasso回歸到(dao)奇異(yi)值分解和(he)Elastic net，最小均方(fang)算法是(shi)許多ML算法的核心。本文展示了如何在(zai)不損失(shi)精度的情(qing)況下，將其計算復雜(za)度降低一(yi)(yi)到(dao)兩個(ge)數量級(ji)，并改進(jin)了數值穩定(ding)性。該方(fang)法依賴于(yu)Caratheodory定(ding)理，建(jian)立一(yi)(yi)個(ge)coreset （d維中d2 + 1個(ge)點的集合(he)）足以(yi)表征凸集中的所有n個(ge)點。它的新穎之處在(zai)于(yu)提出(chu)了一(yi)(yi)種分治算法，在(zai)復雜(za)度可承受的情(qing)況下（O（nd + d5 log n），其中d << n））提取coreset。

杰出新方向論文獎榮譽提名

Putting An End to End-to-End：Gradient-Isolated Learning of Representations

作者：Sindy Lwe、Peter O‘Connor、Bastiaan Veeling（阿姆斯特丹大學）

論文地址：

本文重新(xin)審視了(le)(le)深度網絡的(de)分層構建，使用了(le)(le)van Oord等人提出的(de)自監督(du)標準，特(te)別是(shi)當前輸入的(de)表示(shi)與空間(jian)或時間(jian)相近的(de)輸入之間(jian)的(de)相互(hu)信息。

Scene Representation Networks：Continuous 3D-Structure-Aware Neural Scene Representations

作者：Vincent Sitzmann 、Michael Zollhfer、Gordon Wetzstein（斯坦(tan)福大學）

論文地址：

本文提(ti)(ti)出了CV中的(de)(de)兩種主要(yao)方法(fa)(fa)：多(duo)視(shi)圖幾何方法(fa)(fa)和深度表(biao)示方法(fa)(fa)完美地結合在一(yi)(yi)起。具體(ti)而言(yan)，本文的(de)(de)三大貢獻表(biao)現在：1.基于每個體(ti)素的(de)(de)神經(jing)渲染器，實現了場景(jing)的(de)(de)3D感(gan)知無分辨率渲染；2.提(ti)(ti)出一(yi)(yi)種可微(wei)分的(de)(de)ray-marching 算法(fa)(fa)，解(jie)決了沿著攝(she)像機投射(she)光線尋找曲面交點(dian)的(de)(de)難題；3.提(ti)(ti)出一(yi)(yi)種潛在的(de)(de)場景(jing)表(biao)示方法(fa)(fa)，利用自動編(bian)碼器和超級(ji)網絡對場景(jing)來(lai)回歸表(biao)示網絡的(de)(de)參(can)數。

經典論文獎

NeurIPS經典論文獎(jiang)的(de)授(shou)予(yu)原則為"重要貢獻、持(chi)久影響和廣泛吸(xi)引力(li)"，本屆大會(hui)從 2009 年 NIPS 的(de) 18 篇引用最多的(de)論文中(zhong)選出了持(chi)續(xu)影響力(li)最高、對研究領(ling)域具(ju)有杰出貢獻的(de)研究。

最終(zhong)，今年(nian)的這一獎項(xiang)授(shou)予 了NIPS 2009 論文《Dual Averaging Method for Regularized Stochastic Learning and Online Optimization》及其作者，微軟首(shou)席研(yan)究員 Lin Xiao。

Lin Xiao曾就讀于北京航空航天大(da)學(xue)和(he)斯坦福(fu)大(da)學(xue)，自 2006 年起就職于微軟(ruan)研究院。他(ta)的(de)研究興趣包(bao)括大(da)規模優化的(de)理(li)論和(he)算法，機器學(xue)習的(de)隨(sui)機和(he)在線算法，并(bing)行(xing)計(ji)(ji)算和(he)分(fen)布式計(ji)(ji)算。

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

論文地址：

該(gai)研究(jiu)提出了用于在(zai)線最優(you)化求解的(de)RDA（Regularized Dual Averaging）方法，是(shi)Lin Xiao在(zai)微軟(ruan)10年(nian)的(de)研究(jiu)成果。該(gai)方法是(shi)Simple Dual Averaging Scheme一個擴(kuo)展，并更有(you)效(xiao)地提升了特征(zheng)權重的(de)稀疏性。