本屆NeurIPS大會共收到6743篇(pian)(pian)論(lun)文投(tou)稿，兩年時間(jian)翻了一番。其中1428篇(pian)(pian)論(lun)文入選(xuan)，入選(xuan)率僅21.1%。百度共有8篇(pian)(pian)論(lun)文被收錄，覆蓋量化壓縮、對抗訓練(lian)等諸多前(qian)沿方(fang)向(xiang)。

競賽方(fang)面，在(zai)NeurIPS 2019: Learn to Move強化(hua)學(xue)習(xi)賽事中(zhong)百(bai)度再度蟬聯冠軍(jun)，并(bing)受邀(yao)在(zai)Deep RL workshop中(zhong)進行專題報告。本次比(bi)賽的(de)難度非常大，在(zai)參賽的(de)近300支隊伍(wu)中(zhong)，僅有3支隊伍(wu)完成了(le)最后挑(tiao)戰(zhan)(zhan)。百(bai)度基于飛槳的(de)強化(hua)學(xue)習(xi)框架PARL不(bu)僅成功完成挑(tiao)戰(zhan)(zhan)，還大幅領(ling)先(xian)第(di)二名（1490vs1346）。除了(le)在(zai)Best Performance Track獲得了(le)第(di)一(yi)，相關(guan)技術論文也在(zai)該賽事的(de)Machine Learning Track中(zhong)獲得了(le)Best Paper Reward。

百(bai)度(du)(du)舉辦了(le)自(zi)(zi)然語言(yan)處理(li)專題(ti)研(yan)討會，百(bai)度(du)(du)技術委員會主席、自(zi)(zi)然語言(yan)處理(li)首席科(ke)學家吳華博(bo)士以及多名研(yan)究員和工程(cheng)師，向(xiang)現場(chang)參會者全面介(jie)紹了(le)百(bai)度(du)(du)在這一(yi)領(ling)域的長(chang)期(qi)積累與全新突(tu)(tu)破(po)。基(ji)于具有完(wan)全自(zi)(zi)主知識產(chan)權(quan)的飛槳平(ping)臺(tai)(tai)，百(bai)度(du)(du)自(zi)(zi)然語言(yan)處理(li)在語義計算、閱讀(du)理(li)解、多輪對話、機器翻譯、開放平(ping)臺(tai)(tai)與數據等方向(xiang)均取得了(le)突(tu)(tu)破(po)性(xing)進展，并進行了(le)大規模產(chan)業(ye)化應用。

預(yu)訓練(lian)方面，百度提出(chu)知識增強的語義表(biao)示模(mo)型ERNIE及持續學習語義理解(jie)框架ERNIE2.0，在共計16個中英文(wen)任務上超越BERT、XLNET，取得(de)了(le) SOTA 的效(xiao)果。11月，百度發(fa)布基于(yu)ERNIE的語義理解(jie)開(kai)發(fa)套件。從(cong)原理、應用到開(kai)源及平臺化(hua)，百度在NLP預(yu)訓練(lian)領域進行了(le)極具價值(zhi)的創新及實踐。

機(ji)器(qi)閱讀(du)(du)理(li)解，已(yi)成為(wei)評估(gu)機(ji)器(qi)語言(yan)理(li)解能力(li)的重要方(fang)式(shi)，也是搜索引擎和對話系統等行業應用中(zhong)(zhong)的關(guan)鍵技術。百度(du)建(jian)設及發布了最(zui)大規模(mo)的中(zhong)(zhong)文閱讀(du)(du)理(li)解數據集DuReader；在泛化方(fang)面提(ti)出訓(xun)練框(kuang)架D-NET，從(cong)多模(mo)型融合、多任務學(xue)習的角(jiao)度(du)提(ti)升模(mo)型的泛化能力(li)；

對于(yu)對抗樣本的攻(gong)擊，提出了一種面向閱讀(du)理(li)解(jie)的對抗訓練方法；提出文本表示(shi)和知識表示(shi)的融(rong)合模(mo)型(xing)KT-NET，以解(jie)決需要外部知識和常識的問題(ti)。其中具有高魯棒(bang)性和遷移能(neng)力的閱讀(du)理(li)解(jie)模(mo)型(xing)在2019年MRQA閱讀(du)理(li)解(jie)評測中奪得冠軍。

對(dui)(dui)(dui)(dui)話方(fang)面(mian)，提(ti)(ti)出了(le)(le)(le)基于深(shen)度(du)(du)注意網絡的(de)多輪響應選擇(ze)匹配模(mo)型(xing)DAM(Deep Attention Matching Network)，顯著提(ti)(ti)高了(le)(le)(le)口語理(li)解能(neng)(neng)力(li)。在對(dui)(dui)(dui)(dui)話系統框架(jia)中(zhong)，百度(du)(du)一(yi)方(fang)面(mian)提(ti)(ti)供(gong)了(le)(le)(le)可編程的(de)對(dui)(dui)(dui)(dui)話管(guan)理(li)框架(jia)，并內置了(le)(le)(le)多個(ge)常用(yong)標準對(dui)(dui)(dui)(dui)話范式，為(wei)在云端開發(fa)靈活(huo)可變的(de)業務對(dui)(dui)(dui)(dui)話邏輯(ji)提(ti)(ti)供(gong)了(le)(le)(le)便利。另一(yi)方(fang)面(mian)，提(ti)(ti)供(gong)了(le)(le)(le)需求分發(fa)和(he)全局(ju)記(ji)憶機制(zhi)，支持多個(ge)對(dui)(dui)(dui)(dui)話任(ren)務的(de)集成與聯動，提(ti)(ti)高了(le)(le)(le)對(dui)(dui)(dui)(dui)話技能(neng)(neng)的(de)可復用(yong)性，降低了(le)(le)(le)新業務的(de)重復開發(fa)成本(ben)。百度(du)(du)可定制(zhi)對(dui)(dui)(dui)(dui)話技術依(yi)托百度(du)(du)大腦UNIT3.0平臺(tai)，支持5萬多個(ge)對(dui)(dui)(dui)(dui)話技能(neng)(neng)，廣泛(fan)應用(yong)于行業客戶。

機器翻譯領域(yu)(yu)，百(bai)度(du)相(xiang)繼提出(chu)(chu)了多任務學習、多智能體聯合訓練等前(qian)沿(yan)方(fang)(fang)法，并(bing)在(zai)(zai)2019年國際權威WMT評(ping)測中(zhong)(zhong)取得(de)中(zhong)(zhong)英翻譯第一。機器同(tong)(tong)(tong)聲傳(chuan)(chuan)(chuan)(chuan)(chuan)(chuan)譯方(fang)(fang)面百(bai)度(du)走在(zai)(zai)領域(yu)(yu)前(qian)沿(yan)，提出(chu)(chu)了首個具有預(yu)測和可控時延(yan)的(de)(de)同(tong)(tong)(tong)傳(chuan)(chuan)(chuan)(chuan)(chuan)(chuan)模(mo)型(xing)，首個語(yu)義(yi)單元驅(qu)動的(de)(de)上下文同(tong)(tong)(tong)傳(chuan)(chuan)(chuan)(chuan)(chuan)(chuan)模(mo)型(xing)，并(bing)研(yan)發了業內首個語(yu)音到語(yu)音的(de)(de)同(tong)(tong)(tong)傳(chuan)(chuan)(chuan)(chuan)(chuan)(chuan)系統，為用戶提供高質量、低時延(yan)的(de)(de)同(tong)(tong)(tong)傳(chuan)(chuan)(chuan)(chuan)(chuan)(chuan)體驗。值得(de)一提的(de)(de)是(shi)，基于(yu)在(zai)(zai)此領域(yu)(yu)取得(de)的(de)(de)進(jin)步，由百(bai)度(du)主導，聯合Google、Facebook、Upenn、清華等海(hai)內外頂尖企業及(ji)高校共同(tong)(tong)(tong)組織(zhi)首屆機器同(tong)(tong)(tong)傳(chuan)(chuan)(chuan)(chuan)(chuan)(chuan)研(yan)討會，將(jiang)在(zai)(zai)本領域(yu)(yu)頂級會議ACL 2020召開(kai)，并(bing)將(jiang)舉辦國際首屆同(tong)(tong)(tong)傳(chuan)(chuan)(chuan)(chuan)(chuan)(chuan)評(ping)測，以(yi)進(jin)一步促(cu)進(jin)技術(shu)發展(zhan)。此外，百(bai)度(du)還(huan)將(jiang)在(zai)(zai)領域(yu)(yu)權威會議EMNLP 2020中(zhong)(zhong)舉辦機器同(tong)(tong)(tong)傳(chuan)(chuan)(chuan)(chuan)(chuan)(chuan)tutorial，就機器同(tong)(tong)(tong)傳(chuan)(chuan)(chuan)(chuan)(chuan)(chuan)的(de)(de)原理、方(fang)(fang)法、前(qian)沿(yan)進(jin)展(zhan)進(jin)行(xing)講(jiang)座(zuo)。

百度(du)自(zi)(zi)然(ran)語言處理領域(yu)產(chan)出的(de)(de)(de)(de)(de)卓越成果背后(hou)所(suo)運(yun)用(yong)(yong)的(de)(de)(de)(de)(de)底層框架，是自(zi)(zi)研的(de)(de)(de)(de)(de)開源深(shen)(shen)(shen)度(du)學(xue)(xue)習平臺(tai)百度(du)飛(fei)槳。近兩年來，飛(fei)槳圍(wei)繞深(shen)(shen)(shen)度(du)學(xue)(xue)習框架的(de)(de)(de)(de)(de)基本功能(neng)、性(xing)(xing)能(neng)、芯(xin)片支(zhi)持(chi)的(de)(de)(de)(de)(de)完備(bei)性(xing)(xing)等技(ji)術指標進行了(le)一系列的(de)(de)(de)(de)(de)易(yi)用(yong)(yong)性(xing)(xing)開發和(he)性(xing)(xing)能(neng)迭(die)代(dai)，為(wei)開發者(zhe)提供了(le)優(you)于其他深(shen)(shen)(shen)度(du)學(xue)(xue)習框架的(de)(de)(de)(de)(de)使用(yong)(yong)體驗。在(zai)(zai)(zai)開發能(neng)力方面，飛(fei)槳除了(le)支(zhi)持(chi)對常(chang)用(yong)(yong)API的(de)(de)(de)(de)(de)調用(yong)(yong)之外，還在(zai)(zai)(zai)編(bian)程(cheng)范式(shi)上(shang)同(tong)時支(zhi)持(chi)聲明式(shi)編(bian)程(cheng)和(he)命令式(shi)編(bian)程(cheng)，兼具很(hen)好的(de)(de)(de)(de)(de)靈活性(xing)(xing)和(he)穩定性(xing)(xing)，可滿(man)足不同(tong)開發者(zhe)的(de)(de)(de)(de)(de)開發習慣(guan)，更易(yi)上(shang)手(shou)。在(zai)(zai)(zai)訓(xun)練方面，飛(fei)槳平臺(tai)突破了(le)超大(da)規模(mo)深(shen)(shen)(shen)度(du)學(xue)(xue)習模(mo)型(xing)訓(xun)練技(ji)術，研制了(le)千(qian)億特征、萬(wan)億參(can)數(shu)、數(shu)百節點的(de)(de)(de)(de)(de)開源大(da)規模(mo)訓(xun)練平臺(tai)，實現了(le)萬(wan)億規模(mo)參(can)數(shu)深(shen)(shen)(shen)度(du)學(xue)(xue)習模(mo)型(xing)的(de)(de)(de)(de)(de)實時更新。在(zai)(zai)(zai)自(zi)(zi)然(ran)語言處理領域(yu)，PADDLE-NLP提供了(le)面向6類任務下的(de)(de)(de)(de)(de)30+算(suan)法(fa)模(mo)型(xing)，包括(kuo)上(shang)述(shu)工作(zuo)中ERNIE、D-NET等多個國(guo)際競賽的(de)(de)(de)(de)(de)冠軍模(mo)型(xing)。