15億參數！史上最強通用NLP模型誕生：狂攬7大數據集最佳紀錄

來源：openai

轉載自：新智元，未經允許不得二次轉載

【導讀】史上最強“通用”NLP模型來襲：近日OpenAI在官博介紹了他們訓練的一個大規模無監督NLP模型，可以生成連貫的文本段落，刷新了7大數據集基準，并且能在未經預訓練的情況下，完成閱讀理解、問答、機器翻譯等多項不同的語言建模任務。

OpenAI今天在官博上介紹了他們的新NLP模型，刷新了7大數據集的SOTA(當前最佳結果)，并且能夠在不進行任何與領域知識相關數據訓練的情況下，直接跨任務執行最基礎的閱讀理解、機器翻譯、問答和文本總結等不同NLP任務。

無需預訓練就能完成多種不同任務且取得良好結果，相當于克服了“災難性遺忘”，簡直可謂深度學習研究者夢寐以求的“通用”模型！

如果說谷歌的BERT代表NLP邁入了一個預訓練模型的新時代，OpenAI便用這一成果證明，只要擁有超凡的數據量和計算力，就能實現以往無法想象的事情。

例如計算力，根據參與OpenAI強化學習研究的Smertiy透露，新模型使用了256塊谷歌TPU v3(沒有公布具體的訓練時間)，訓練價格每小時2048美元。

史上最強“通用”NLP模型：15億參數馳騁40GB網絡數據

OpenAI的這個NLP模型基于Transformer，擁有15億參數，使用含有800萬網頁內容的數據集訓練，只為一個目的：

根據當前已有的信息，預測下一個單詞是什么。

新模型的名字叫GPT-2，是OpenAI去年發布的無監督NLP模型GPT的直接拓展，新模型用到的參數和訓練數據，都增長了超過10個數量級。

由于模型容量足夠大，并且訓練數據足夠多，GPT-2在擁有40GB網絡數據的測試集上，僅是簡單“預測下一個單詞是什么”，就足以完成各種不同的NLP任務，展示出了強大的泛化能力。

當前，構建機器學習系統的主流方法是監督學習——收集數據，也即喂給模型一套“理想的”輸入和輸出組合，讓模型模仿“套路”，在新的測試數據集上也給出類似的結果。這種方法在特定領域任務上表現很好，但缺點是一旦改為其他任務，比如將在問答數據集上表現很好的模型用到閱讀理解上，模型就無法適應，也即泛化能力很差。

對此，OpenAI的研究人員大膽推測：當前機器學習系統泛化能力差的原因，恰恰是因為讓模型局限在特定領域的數據集上做特定任務的訓練。

同時，現有的多任務模型研究證明，單純依靠訓練樣本的增加，難以實現有效的任務擴展；NLP研究人員正越來越多地使用自注意力模塊遷移學習來構建多任務學習模型。

于是，OpenAI的研究人員結合上述兩種思路，在更通用的數據集基礎上，使用自注意力模塊遷移學習，然后得到了一個無需調整任何參與或模型結構，在 zero-shot 情況下能夠執行多項不同NLP任務的模型，也即上文所說的GPT-2。

有鑒于其強大的能力和可能被濫用的危險，OpenAI并沒有公布GPT-2模型及代碼，只公布了一個僅含117M參數的樣本模型及代碼，供有興趣的研究人員學習和參考：https://github.com/openai/gpt-2

當然，GPT-2的具體模型結構OpenAI這次也沒有詳述，他們預留了半年的時間向學界征集意見。在公布的論文“Language Models are Unsupervised Multitask Learners”中，OpenAI的研究人員介紹了模型構建的思路和方法。

至于具體的計算力，論文中沒有提及，根據上文Twitter上的數據，他們的模型使用了256個谷歌云TPU v3，盡管沒有公布訓練時間。TPU v3在Google之外只提供單獨使用版本(盡管OpenAI可能得到了特別的許可)，這意味著他們要支付8 * 256 = 2048美元/小時。

下面，就是OpenAI展示其成果的時間——你也可以直接拉到文末，點擊“閱讀原文”查看論文。

我們對四個語言模型進行了訓練和基準測試，它們的大小如下表所示：

4個模型大小的架構和超參數

其中，最小的模型等價于原始的GPT，次小的等價于最大的BERT模型。我們的最大模型是GPT-2，它的參數比GPT多一個數量級。

GPT-2在各種領域特定的語言建模任務上取得了state-of-the-art 的成績。我們的模型沒有針對任何特定于這些任務的數據進行訓練，只是作為最終測試對它們進行了評估；這就是被稱為“zero-shot”的設置。

當在相同的數據集上進行評估時，GPT-2比在特定領域數據集(如Wikipedia、新聞、書籍)上訓練的模型表現更好。

下表顯示了我們所有最先進的zero-shot結果。

(+)表示該項分數越高越好。(-)表示分數越低越好。

GPT-2在這些數據集中均獲得SOTA結果

GPT-2在Winograd Schema、LAMBADA以及其他語言建模任務上實現了state-of-the-art 的結果。

在各數據集上，四種不同參數大小模型的Zero-shot結果。

可以看到，WebText LMs可以很好地跨域和數據集傳輸，在zero-shot設置下將8個數據集中的7個的state of the art結果進一步提升了。

在Penn Treebank和WikiText-2等只有100萬到200萬個訓練token的小型數據集上，可以看到改進很大。在用于測量長期依賴關系的數據集上，如LAMBADA和the Children’s Book Test，也有很大的改進。

我們的模型在One Billion Word Benchmark上仍然明顯比之前的工作要差。這可能是由于它既是最大的數據集，又有一些最具破壞性的預處理——1BW的句子級變換消除了所有的遠程結構。

在其他語言任務，如問題回答、閱讀理解、摘要總結和翻譯，我們在沒有對模型進行任何微調的情況下獲得了極好的結果，只需要以正確的方式提示訓練模型（下面的例子展示了具體做法和結果），但在這些任務還達不到專業系統的SOTA水平。

1、閱讀理解：回答關于給定段落的問題

數據集：CoQA

示例

The 2008 Summer Olympics torch relay was run from March 24 until August 8, 2008, prior to the 2008 Summer Olympics, with the theme of “one world, one dream”. Plans for the relay were announced on April 26, 2007, in Beijing, China. The relay, also called by the organizers as the “Journey of Harmony”, lasted 129 days and carried the torch 137,000 km (85,000 mi) – the longest distance of any Olympic torch relay since the tradition was started ahead of the 1936 Summer Olympics.

After being lit at the birthplace of the Olympic Games in Olympia, Greece on March 24, the torch traveled to the Panathinaiko Stadium in Athens, and then to Beijing, arriving on March 31. From Beijing, the torch was following a route passing through six continents. The torch has visited cities along the Silk Road, symbolizing ancient links between China and the rest of the world. The relay also included an ascent with the flame to the top of Mount Everest on the border of Nepal and Tibet, China from the Chinese side, which was closed specially for the event.

Q: What was the theme?
A: “one world, one dream”.

Q: What was the length of the race?
A: 137,000 km

Q: Was it larger than previous ones?
A: No

Q: Where did the race begin?
A: Olympia, Greece

Q: Is there anything notable about that place?
A: birthplace of Olympic Games

Q: Where did they go after?
A: Athens

Q: How many days was the race?
A: seven

Q: Did they visit any notable landmarks?
A: Panathinaiko Stadium

Q: And did they climb any mountains?

A:

Target answers: unknown or yes
Model answer: Everest

性能表現：

在閱讀理解任務中，GPT-2比DrQA+PGNet要差，也遠低于人類水平

2、常識推理：解決含義模糊的代詞

數據集：Winograd Schema Challenge

示例

The trophy doesn’t fit into the brown suitcase because it is too large.

Correct answer: it = trophy
Model answer: it = trophy

The trophy doesn’t fit into the brown suitcase because it is too small.

Correct answer: it = suitcase
Model answer: it = suitcase

性能表現

在常識推理任務中，GPT-2優于SOTA

3、問題回答

數據集：Natural Questions

示例

Who wrote the book the origin of species?

Correct answer: Charles Darwin
Model answer: Charles Darwin

What is the largest state in the U.S. by land mass?

Correct answer: Alaska
Model answer: California

性能表現：

在問答任務中，GPT-2的表現遠低于BERT

4、廣義語境的語言建模：預測一段文字的最后一個詞

數據集：LAMBADA

示例

Both its sun-speckled shade and the cool grass beneath were a welcome respite after the stifling kitchen, and I was glad to relax against the tree’s rough, brittle bark and begin my breakfast of buttery, toasted bread and fresh fruit. Even the water was tasty, it was so clean and cold. It almost made up for the lack of…

Correct answer: coffee
Model answer: food

性能表現

在廣義語境的語言建模任務中，GPT-2比SOTA的模型表現更好

5、寫摘要：對新聞文章進行總結

數據集：CNN和每日郵報數據集

示例文本：

Prehistoric man sketched an incredible array of prehistoric beasts on the rough limestone walls of a cave in modern day France 36,000 years ago.

Now, with the help of cutting-edge technology, those works of art in the Chauvet-Pont-d’Arc Cave have been reproduced to create the biggest replica cave in the world.

…

參考摘要：

Cave mimics famous Caverne du Pont-d’Arc in France, the oldest cave decorated by man and the best preserved. The replica contains all 1,000 paintings which include 425 such as a woolly rhinoceros and mammoths. Minute details were copied using 3D modelling and anamorphic techniques, often used to shoot widescreen images. The modern cave also includes replica paw prints of bears, bones and details preserved in the original cave.

機器編寫的摘要:

The original site in Vallon-Pont-D’arc in Southern France is a Unesco World Heritage site and is the oldest known and the best preserved cave decorated by man. The replica cave was built a few miles from the original site in Vallon-Pont-D’Arc in Southern France. The cave contains images of 14 different species of animals including woolly rhinoceros, mammoths, and big cats.

性能表現

在摘要任務中，GPT-2的表現不如專門的系統

6、機器翻譯：把法語句子翻譯成英語

數據集：WMT-14 Fr-En

示例

法語句子：

Un homme a expliqué que l’opération gratuite qu’il avait subie pour soigner une hernie lui permettrait de travailler à nouveau.

參考翻譯：

One man explained that the free hernia surgery he’d received will allow him to work again.

模型的翻譯

A man told me that the operation gratuity he had been promised would not allow him to travel.

性能表現

在法語-英語機器翻譯任務中，GPT-2的表現不如專門的系統

我們認為，由于這些任務是通用語言建模的子集，我們可以預期隨著計算力和數據量的增加，性能會進一步提高。其他研究人員也發表了類似的假設。我們還期望通過微調來提高下游任務的性能，盡管這需要進行徹底的實驗。