本屆NeurIPS大會共(gong)收到6743篇(pian)(pian)論(lun)文(wen)(wen)投稿，兩年時間翻(fan)了一番。其中(zhong)1428篇(pian)(pian)論(lun)文(wen)(wen)入選(xuan)，入選(xuan)率僅21.1%。百(bai)度共(gong)有8篇(pian)(pian)論(lun)文(wen)(wen)被收錄，覆蓋量化壓縮、對(dui)抗(kang)訓練等諸多前(qian)沿方向。

競賽(sai)方面，在(zai)NeurIPS 2019: Learn to Move強(qiang)化學(xue)習賽(sai)事(shi)中百度再度蟬聯冠(guan)軍，并受邀在(zai)Deep RL workshop中進行專題報(bao)告。本次比(bi)賽(sai)的(de)(de)難度非常(chang)大，在(zai)參賽(sai)的(de)(de)近300支(zhi)隊伍中，僅有3支(zhi)隊伍完(wan)成了最后挑(tiao)(tiao)戰。百度基于(yu)飛槳的(de)(de)強(qiang)化學(xue)習框(kuang)架(jia)PARL不僅成功(gong)完(wan)成挑(tiao)(tiao)戰，還大幅領先第二(er)名（1490vs1346）。除(chu)了在(zai)Best Performance Track獲得(de)了第一(yi)，相關(guan)技術論文也在(zai)該賽(sai)事(shi)的(de)(de)Machine Learning Track中獲得(de)了Best Paper Reward。

百(bai)度(du)(du)舉辦了(le)自然語言(yan)處(chu)(chu)理專題研(yan)討會，百(bai)度(du)(du)技術(shu)委員會主席、自然語言(yan)處(chu)(chu)理首席科學(xue)家吳華博士以及(ji)多(duo)名研(yan)究員和工程(cheng)師，向現場參會者全(quan)面介紹(shao)了(le)百(bai)度(du)(du)在這一(yi)領域(yu)的長(chang)期積累與全(quan)新突破。基于具有完全(quan)自主知識產權的飛(fei)槳平臺(tai)，百(bai)度(du)(du)自然語言(yan)處(chu)(chu)理在語義(yi)計算、閱讀理解、多(duo)輪對話、機(ji)器翻(fan)譯、開放平臺(tai)與數據等方向均(jun)取(qu)得了(le)突破性進展(zhan)，并進行(xing)了(le)大規模產業(ye)化應用。

預訓練方面，百(bai)度提出知識增強(qiang)的(de)語義(yi)表示(shi)模型ERNIE及持續學習語義(yi)理(li)(li)解框架ERNIE2.0，在(zai)共(gong)計16個中英文任務上(shang)超越BERT、XLNET，取(qu)得了(le) SOTA 的(de)效果。11月，百(bai)度發布基于ERNIE的(de)語義(yi)理(li)(li)解開(kai)發套件(jian)。從原理(li)(li)、應用到開(kai)源及平臺化，百(bai)度在(zai)NLP預訓練領域進行了(le)極具(ju)價值(zhi)的(de)創(chuang)新及實(shi)踐。

機(ji)器(qi)閱讀理(li)解(jie)，已成為評估機(ji)器(qi)語言理(li)解(jie)能力的重要方(fang)式(shi)，也是搜索引擎和對(dui)話系統(tong)等行業應用中(zhong)的關鍵技(ji)術。百度建設及(ji)發(fa)布(bu)了最大規模(mo)(mo)的中(zhong)文閱讀理(li)解(jie)數據(ju)集(ji)DuReader；在泛(fan)化方(fang)面提(ti)(ti)出訓練框架D-NET，從(cong)多(duo)模(mo)(mo)型融合、多(duo)任務學習的角度提(ti)(ti)升模(mo)(mo)型的泛(fan)化能力；

對(dui)(dui)于(yu)對(dui)(dui)抗(kang)樣(yang)本(ben)的(de)攻擊，提出(chu)了一(yi)種面向(xiang)閱讀理解(jie)(jie)的(de)對(dui)(dui)抗(kang)訓練方法；提出(chu)文本(ben)表示和(he)(he)知(zhi)識表示的(de)融合模型KT-NET，以解(jie)(jie)決需(xu)要外部知(zhi)識和(he)(he)常識的(de)問題。其中具有高(gao)魯棒性和(he)(he)遷移能力的(de)閱讀理解(jie)(jie)模型在2019年MRQA閱讀理解(jie)(jie)評(ping)測中奪得冠(guan)軍。

對(dui)(dui)(dui)話(hua)(hua)(hua)(hua)方面，提出了基(ji)于深度(du)注意網(wang)絡的多(duo)(duo)輪響應(ying)選擇匹配模型DAM(Deep Attention Matching Network)，顯著提高(gao)了口語理解能力。在對(dui)(dui)(dui)話(hua)(hua)(hua)(hua)系統框架中(zhong)，百度(du)一(yi)(yi)方面提供(gong)了可編程的對(dui)(dui)(dui)話(hua)(hua)(hua)(hua)管理框架，并內置了多(duo)(duo)個常用(yong)標準對(dui)(dui)(dui)話(hua)(hua)(hua)(hua)范式，為在云端開發靈活可變(bian)的業務(wu)(wu)對(dui)(dui)(dui)話(hua)(hua)(hua)(hua)邏輯提供(gong)了便利。另一(yi)(yi)方面，提供(gong)了需(xu)求分發和(he)全局記憶機制，支持(chi)多(duo)(duo)個對(dui)(dui)(dui)話(hua)(hua)(hua)(hua)任務(wu)(wu)的集成(cheng)與聯動，提高(gao)了對(dui)(dui)(dui)話(hua)(hua)(hua)(hua)技(ji)能的可復用(yong)性，降低(di)了新業務(wu)(wu)的重復開發成(cheng)本(ben)。百度(du)可定(ding)制對(dui)(dui)(dui)話(hua)(hua)(hua)(hua)技(ji)術依托百度(du)大(da)腦UNIT3.0平(ping)臺，支持(chi)5萬多(duo)(duo)個對(dui)(dui)(dui)話(hua)(hua)(hua)(hua)技(ji)能，廣泛應(ying)用(yong)于行業客戶。

機器(qi)(qi)翻譯領域(yu)(yu)(yu)，百(bai)(bai)度(du)相繼提(ti)出了(le)多任務學習、多智能(neng)體聯(lian)合(he)(he)訓練(lian)等(deng)(deng)前(qian)沿(yan)方法，并在2019年(nian)國(guo)際權威(wei)WMT評(ping)測中(zhong)取(qu)得中(zhong)英(ying)翻譯第(di)一(yi)。機器(qi)(qi)同(tong)(tong)(tong)(tong)(tong)聲(sheng)傳(chuan)(chuan)譯方面百(bai)(bai)度(du)走在領域(yu)(yu)(yu)前(qian)沿(yan)，提(ti)出了(le)首(shou)個具(ju)有預測和可控時延的(de)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)模型(xing)，首(shou)個語義單(dan)元驅動的(de)上下文同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)模型(xing)，并研發了(le)業(ye)內(nei)首(shou)個語音到語音的(de)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)系統，為用戶提(ti)供高質量(liang)、低(di)時延的(de)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)體驗。值(zhi)得一(yi)提(ti)的(de)是，基于(yu)在此(ci)領域(yu)(yu)(yu)取(qu)得的(de)進步(bu)，由百(bai)(bai)度(du)主導，聯(lian)合(he)(he)Google、Facebook、Upenn、清華等(deng)(deng)海內(nei)外(wai)頂尖企業(ye)及高校共同(tong)(tong)(tong)(tong)(tong)組織首(shou)屆機器(qi)(qi)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)研討會(hui)，將(jiang)在本(ben)領域(yu)(yu)(yu)頂級(ji)會(hui)議(yi)ACL 2020召開，并將(jiang)舉辦(ban)(ban)國(guo)際首(shou)屆同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)評(ping)測，以進一(yi)步(bu)促進技(ji)術發展。此(ci)外(wai)，百(bai)(bai)度(du)還將(jiang)在領域(yu)(yu)(yu)權威(wei)會(hui)議(yi)EMNLP 2020中(zhong)舉辦(ban)(ban)機器(qi)(qi)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)tutorial，就機器(qi)(qi)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)的(de)原理、方法、前(qian)沿(yan)進展進行講座(zuo)。

百(bai)度(du)自然語言(yan)處(chu)理(li)領域產出的卓(zhuo)越成果背后所運用的底層框(kuang)架，是自研(yan)的開(kai)源深(shen)度(du)學(xue)習平(ping)臺百(bai)度(du)飛(fei)槳(jiang)。近兩年來，飛(fei)槳(jiang)圍(wei)繞深(shen)度(du)學(xue)習框(kuang)架的基本功能(neng)、性(xing)(xing)能(neng)、芯片支持(chi)(chi)的完(wan)備性(xing)(xing)等技術指標進(jin)行了(le)一系列的易用性(xing)(xing)開(kai)發(fa)和性(xing)(xing)能(neng)迭代(dai)，為開(kai)發(fa)者提(ti)供(gong)了(le)優于(yu)其他(ta)深(shen)度(du)學(xue)習框(kuang)架的使(shi)用體驗。在開(kai)發(fa)能(neng)力方面，飛(fei)槳(jiang)除了(le)支持(chi)(chi)對常用API的調用之外，還在編(bian)(bian)程(cheng)范式(shi)上(shang)同時支持(chi)(chi)聲明式(shi)編(bian)(bian)程(cheng)和命令式(shi)編(bian)(bian)程(cheng)，兼(jian)具很好的靈活(huo)性(xing)(xing)和穩(wen)定性(xing)(xing)，可滿足不(bu)同開(kai)發(fa)者的開(kai)發(fa)習慣，更易上(shang)手。在訓練方面，飛(fei)槳(jiang)平(ping)臺突破了(le)超(chao)大規(gui)模(mo)深(shen)度(du)學(xue)習模(mo)型訓練技術，研(yan)制了(le)千億(yi)特征、萬(wan)億(yi)參(can)數、數百(bai)節點(dian)的開(kai)源大規(gui)模(mo)訓練平(ping)臺，實(shi)現了(le)萬(wan)億(yi)規(gui)模(mo)參(can)數深(shen)度(du)學(xue)習模(mo)型的實(shi)時更新。在自然語言(yan)處(chu)理(li)領域，PADDLE-NLP提(ti)供(gong)了(le)面向6類任務下的30+算法模(mo)型，包括上(shang)述工作中ERNIE、D-NET等多(duo)個國際競(jing)賽的冠(guan)軍(jun)模(mo)型。