大數據文摘出品

備受矚目的NeurlPS 2019周日一早在溫哥華拉開序幕，今天，組委會通過一篇博客公布了包括杰出論文獎、杰出新方向論文獎等五大類獎項。

NeurIPS，全稱神經信息處理系統大會(Conference and Workshop on Neural Information Processing Systems），自1987年誕生至今已有32年的歷史，一直以來備受學術界和產業界的高度關注。NeurIPS為人工智能領域的A類會議，同時也是人工智能領域最富盛名的年度會議之一。

據官方消息，今年NeurIPS會議的論文投稿量再創造新高，共收到6743篇投稿，最終錄取1428篇論文，36篇oral，錄取率為21.2%。

今年的參會人數也再創新高，參會總人數已經突破了13000人，相比去年參會的9000人增加了近一半。由于報名人數過多。今年大會組織者甚至更改了搶票規則，將“先到先得”原則更改為“抽獎”原則。正如NeurIPS在公告中所說，用新規則搶票的NeurIPS 2019可以在一定程度上避免時區問題。

今年開幕式的注冊長隊，圖：HooraRM @ NeurIPS2019

而如此高的投稿率和參會率，也能從側面反應了人工智能研究的火爆程度只增不減。

如此龐大的投稿量，組委會再審核和評選過程中也面臨不小的壓力。在揭曉獎項的官方博文中，NeurlPS 2019也聲明了獎項評審過程中的相關標準和評選過程，從這些標準中我們可以也看出，哪些研究更NeurIPS 2019所認可或者不被鼓勵。

評審委員會一致通過的評審標準包括，鼓勵以下9種研究特質：

• 持久的潛力ーー專注于主要工作，而不是邊邊角角。 在未來的幾十年里，人們可能仍然會關心這個問題；

• 洞察力——提供新的（最好是深入的）理解；不僅僅是為了模型表現出幾個百分點的改進；

• 創造力——以創造性的新方式看待問題，給出一個真正讓讀者感到驚訝的結果；

• 革命性ーー將從根本上改變人們未來的思維方式；

• 嚴謹性ーー無懈可擊的嚴謹和考慮；

• 優雅感ーー美麗、干凈、光滑、優雅；

• 現實性ーー不過分強調其重要性；

• 科學性——在實際上是可證偽的；

• 可重復性ーー結果是可重現的；代碼是可用的，并且可以在各種機器上使用；數據集是可用的；證明細節是完整的。

組委會還公布了一些他們不鼓勵的3種論文特質:

• 低效ーー遠離那些僅僅因為資源浪費而脫穎而出的工作（主要是因為浪費了大量資源而獲得了較高的排名）

• 趨附大勢——因為一個想法很時尚所以采用某種方法，但可以通過其他方法以不同的更有效的方式獲得。

• 過于復雜ーー論文有非必要的復雜性。

此外，組委會今年還新增加了一個杰出新方向論文獎，以突出在為未來的研究設置一個新的途徑方面出色的工作。

一起來看看5大獎項的獲獎論文。

獲獎論文：

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

論文鏈接：

https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise.pdf

論文作者：Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos

機構：威斯康辛大學麥迪遜分校、馬普所

具體而言，研究人員給定了一組帶標簽樣本（x, y），采樣R^d+1維的分布D，如此，未帶標簽點x上的邊緣分布是任意的，并且標簽y通過一個未知半空間生成，這個未知半空間被Massart噪聲破壞，其中噪聲率η<1/2。這樣一來，問題就變成了尋找到假設h，使得誤分類誤差（misclassification error）得以最小化。

在本篇論文之前，即使是對于析取類（the class of disjunctions），也沒有一個有效的弱（分布獨立）學習器模型。這種半空間（甚至析取類）的算法在各項研究中始終未能得到解決，從Sulon（1988）、Cohen（1997），一直到Avrim Blum的FoCS 2003教程，都在強調這個問題。

該論文研究了在訓練數據中存在未知有界標簽噪聲情況下，二值分類線性閾值函數的學習問題。論文提出，通過導出一個有效的學習算法，能解決基本的、長期存在的開放問題。

本文在機器學習領域長期存在的開放性問題上取得了重大進展，即“在Massart噪聲下有效地學習半空間問題進行了研究”。舉一個簡單的例子，在1%的Massart噪聲下，即使是弱學習析取（weak learning disjunctions）（誤差率49%）也是開放的。

本文展示了如何有效地實現與Massart噪聲水平加epsilon（和運行時間poly（1/epsilon））相等的超額風險。算法方法的復雜，使得在技術上難以確定。最終目標是能夠有效地獲得等于epsilon（in-time poly（1/epsilon））的超額風險。

獲獎論文：

Uniform convergence may be unable to explain generalization in deep learning

論文鏈接：

https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning.pdf

論文作者：Vaishnavh Nagarajan、J. Zico Kolter

機構：卡耐基梅隆大學、博世人工智能中心

為了解釋過參數化深度網絡的泛化行為，最近許多論文為發展了深度學習設定了泛化邊界，所有邊界的制定都基于一致收斂的基本學習理論技術。

現有邊界的數值是巨大的，通過大量的實驗，研究人員揭示了除了邊界外更值得關注的一個方面：實踐中，這些界限可以隨著訓練數據集的增大而增大。觀察結果指出，研究人員給出超參數線性分類器和梯度下降（GD）訓練的神經網絡的例子，但其中一致收斂證明不能解釋泛化——即使我們盡可能充分考慮GD{\em的隱式偏差。更準確地說，即使我們只考慮GD輸出的一組分類器，它們的測試誤差在我們的設置中小于一些小的值，我們也表明，對這組分類器應用（雙邊）一致收斂只會產生大于的空泛化保證。通過這些發現，我們對基于一致收斂的泛化界的能力提出了質疑，以提供一個完整的圖片說明為什么過度參數化的深層網絡泛化良好。

針對許多現有的（基于范數的）邊界深度學習算法的性能否做到他們所聲稱的那樣，本文給出了否定的回答。他們認為，當他們繼續依賴于雙邊一致收斂機制（the machinery of two-sided uniform convergence）時，他們就不能做自己宣稱的事情。

獲獎論文：

Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

論文鏈接：

論文作者：AnanyaUppal、 ShashankSingh、BarnabásPóczos

機構：卡內基梅隆大學

該論文以嚴格的理論方法證明，在密度估計方面（就收斂速度而言），GAN的性能優于線性方法。利用先前關于小波收縮的結果，本文為GAN的表示能力提供了新的思路。具體來說，作者在大型函數類別（Besov空間）內的大型損失類別（所謂的積分概率度量）下，得出了用于非參數密度估計的最小極大收斂速度。審稿人認為，這篇論文將對從事非參數估計和GAN的研究人員產生重大影響。

獲獎論文：

Fast and Accurate Least-Mean-Squares Solvers

論文鏈接：

https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

論文作者：AlaaMaalouf、IbrahimJubran、DanFeldman

機構：海法大學計算機科學系機器人與大數據實驗室

最小均方求解是許多機器學習算法的核心，從線性和Lasso回歸到奇異值分解和彈性網絡。本文展示了如何將它們的計算復雜度降低一到兩個數量級，而又沒有精度損失和改善的數值穩定性。 該方法依賴于Caratheodory定理，建立了一個核心集（d維的d2 + 1個點的集合）足以表征凸包中的所有n個點。該文的新穎之處在于提出的分治法，該算法可提取具有可承受的復雜性的核集（O（nd + d5 log n），前提是d << n）。審稿人強調了該方法的重要性，因為該方法的遞歸劃分原理而使其易于推廣，從業人員可以輕松實現該方法以改進現有算法，并且可以將其擴展到其他算法。

獲獎論文：

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

論文地址：

論文作者：Sindy L?we、Peter O'Connor、Bastiaan Veeling

自我監督表示學習的新型深度學習方法，該方法不需要標簽或端到端反向傳播，而是利用數據中的自然順序。受生物神經網絡似乎在學習時不會反向傳播全局誤差信號的觀察啟發，我們將深度神經網絡拆分為若干梯度獨立模塊。訓練過程中，每個模塊都利用 Oord 等人 [2018] 提出的 InfoNCE 邊界最大限度地保留該模塊的輸入信息。盡管這是一種貪婪的訓練方式，但我們證明了每個模塊都可以在前一模塊輸出上得以提高，并且頂級模塊創建的表示形式在音頻和視頻領域的下游分類任務上可產生極具競爭力的結果。 該提議使異步優化模塊成為可能，從而允許非常深的神經網絡在未標記數據集上進行大規模分布式訓練。

評論：本文依據van Oord等人提出的自我監督的標準，重新討論了深度網絡的分層構建，特別是當前輸入表征與時空輸入表征之間的交互信息。感知網絡中的這種自組織可能會在算法視角(回避端到端優化、其巨大的內存占用和計算問題)和認知視角(利用所謂的慢特性的概念，向更“生物學上合理的”學習過程發展)的結合方面提供了新的啟發。

獲獎論文：

Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

論文鏈接：

論文作者：Vincent Sitzmann 、Michael Zollh?fer、Gordon Wetzstein

機構：斯坦福大學

生成模型的無監督學習有著發現3D場景的豐富表征的潛力。雖然幾何深度學習探索了場景幾何的3D結構感知表示，但是這些模型通常需要明確的3D監督。新興的神經場景表示只能通過擺姿勢的2D圖像進行訓練，但是現有方法忽略了場景的三維結構。我們提出了場景表示網絡（SRN），這是一種連續的3D結構感知場景表示，可對幾何形狀和外觀進行編碼。 SRN將場景表示為將世界坐標映射到局部場景屬性的特征表示的連續函數。通過將圖像形式表述為可區分的光線行進算法，可以僅從2D圖像及其相機姿態端對端地訓練SRN，而無需深度或形狀。這種表達方式自然可以跨場景進行泛化，在此過程中學習強大的幾何形狀和外觀先驗。我們通過評估SRN的新穎視圖合成，幾次快照重建，關節形狀和外觀插值以及非監督性非剛性人臉模型來證明SRN的潛力。

本文介紹了CV中兩種廣泛方法的完美結合：多視圖幾何和深層表示。 具體來說，本文做出了三點貢獻：1）每個像素的神經渲染器，它可以以3D感知的方式實現無分辨率的場景渲染； 2）可微分的光線行進算法，解決了沿著相機投射的光線尋找表面相交的難題。 3）潛在場景表示，它使用自動編碼器和超網絡來回歸場景表示網絡的參數。

論文名稱：

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

論文鏈接：

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/xiao10JMLR.pdf

論文作者：Lin Xiao，微軟研究院的高級首席研究員，曾就讀于北京航空航天大學和斯坦福大學。他目前的研究方向包括：大規模優化的理論和算法、機器學習和在線算法、并行和分布式計算。

本文認為正規化隨機學習和在線優化問題,目標函數是兩個凸的和術語:一個是損失函數的學習任務；另一個是一個簡單的正則化項。研究中開發了Nesterov的雙重平均方法的擴展，可以利用在線設置的正則化結構。在這些方法的每次迭代中，通過解決一個簡單的最小化問題來調整學習變量，該問題涉及到損失函數過去所有次梯度的運行平均值和整個正則化項，而不僅僅是其次梯度。對于?1的正則化，該方法能夠有效的獲得稀疏效果。研究還證明這些方法達到了隨機學習標準的最優收斂速度。對于損失函數具有Lipschitz連續梯度的隨機學習問題，研究者提出了對偶平均法的加速版。

該論文提出了一種全新在線算法——正則化雙重平均算法（RDA），研究實驗證明，RDA 對于?1 正則化的稀疏在線學習非常有效。

經典論文獎的授予原則為：具有重要貢獻、持久影響和廣泛吸引力。官方設置了專門的委員會負責篩選對社會產生重大且持久影響的論文。Amir Globerson, Antoine Bordes, Francis Bach和Iain Murray承擔參與到評選工作中。

委員會從18篇被接受的論文開始進行評選工作——到2009年NeurIPS，這些論文自發表以來被引用次數最多。然后，他們把搜索的重點放在那些已經產生了持續影響的論文上，即那些在最近的論文仍然被引用的論文。委員會還希望能夠確定對該領域的準確貢獻，使選定的論文脫穎而出；并確保該論文寫得足夠好，使當今社會的大多數人都能閱讀。