在過去的幾年中，我們把 DeepMind 的技術應用到了谷歌產品和基礎設施中，取得了巨大的成功，我們使用數據中心冷卻技術減少了大量的能耗，并擴展了 Android 的電池性能。我們很高興能與大家分享我們接下來的幾個月里的工作。

我們與 Google Play 商店的合作

每個月，有數十億的用戶來 Google Play Store 為他們的移動設備下載應用程序，Play Store 支持了世界上最大的推薦系統之一。一些人在尋找特定的應用程序，比如 Snapchat，而另一些人在瀏覽商店，想看看有什么新東西和有趣的東西。Google Play 的發現團隊努力幫助用戶發現最相關的應用程序和游戲，為他們提供有用的應用程序推薦。為了提供更豐富、個性化的體驗，應用程序會根據用戶過去的偏好來推薦。然而，這需要非常細致的進行區分 — 既要理解應用程序的功能，也要了解它與特定用戶的相關性。例如，對于一個狂熱的科幻游戲玩家來說，類似的游戲推薦可能會很有趣，但如果用戶安裝了一個旅游應用，推薦一個翻譯應用可能比另外五個旅游應用更相關。這些用戶首選項的收集和使用由谷歌的隱私政策管理。

我們開始與 Play store 合作，幫助開發和改進系統，以確定應用程序與用戶的相關性。在這篇文章中，我們將探索一些我們為實現這一目標而開發的尖端機器學習技術。今天，Google Play 的推薦系統包含三個主要模型：一個候選生成器、一個重排序機和一個針對多個目標進行優化的模型。候選生成器是一個深度檢索模型，可以分析 100 多萬個應用程序并檢索最合適的應用程序。對于每個應用程序，重排序機(即用戶偏好模型)會從多個維度預測用戶的偏好。接下來，這些預測是多目標優化模型的輸入，該模型的解決方案為用戶提供最合適的候選方案。

在現實世界的約束下應用機器學習

改善 Google Play 的推薦系統學習用戶的喜好，我們的第一種方法是使用一個 LSTM(長短期記憶)模型，這是一個在現實場景中表現很好的遞歸神經網絡，因為它具有由于強大的更新和反向傳播動能力。雖然 LSTM 帶來了顯著的精度提高，但它也引入了服務延遲，因為 LSTM 在處理長序列時可能在計算上非常昂貴。為了解決這個問題，我們將 LSTM 替換為一個 Transformer 模型，它可以很好地進行序列到序列的預測，并且之前在自然語言處理方面取得了很好的結果，因為它能夠比其他常用的模型捕獲單詞之間更長的依賴關系。該 Transformer 在提高模型性能的同時，也增加了訓練成本。我們的第三個也是最后一個解決方案是實現一個有效的加法注意力模型，該模型適用于序列特征的任何組合，同時具有較低的計算成本。

候選生成器去偏差

為了幫助糾正這種偏差，我們在模型中引入了重要性加權。這個重要性權重是基于每一個獨立應用的打開—安裝率與整個 Play store 的打開—安裝率的中間值。安裝率低于中值的應用程序的重要性權重將小于 1。然而，如果安裝率高于中位數，即使是安裝頻率較低的“小眾”應用程序也可能具有較高的重要性。通過重要性加權，我們的候選生成器可以根據安裝率降低或提高應用程序的權重，從而緩解推薦偏差問題。

重排序推薦的改進

我們的解決方案，reranker 模型，學習了同時顯示給用戶的一對應用程序的相關重要性。我們的 reranker 模型基于一個核心觀點:如果用戶在商店中同時看到兩個應用程序，那么用戶選擇安裝的應用程序比他們沒有安裝的應用程序更貼近用戶。然后，我們可以為每一對應用程序分配一個正樣本或負樣本的標簽，而該模型試圖最小化排名中的逆序數量，從而提高應用程序的相對排名。這種“pairwise”模型在實踐中比 pointwise 模型更有效，因為預測相對順序比預測類標簽或安裝概率更接近于排序的本質。

優化多個目標

我們不是離線解決問題，然后把固定的模型部署上線，而是根據服務期間目標的實際價值，根據每個請求在線解決問題。我們將約束定義為相對約束，這意味著我們希望將次要目標提高一個百分比，而不是一個絕對值。這樣，次要目標的任何變化都不會影響我們的求解。

我們開發的算法可以用來發現許多度量之間的權衡。在權衡曲線上找到合適的點，我們的算法可以顯著提高次要度量，而對主要度量的影響很小。

團隊合作

迄今為止，我們與谷歌的合作通過冷卻谷歌的數據中心，減少了 30%的所需的電力，提高了谷歌的風能價值約 20%，并創建了設備上的學習系統來優化 Android 電池性能。現在谷歌助理和谷歌云平臺用戶遍布世界各地，我們和 Waymo 的合作研究幫助提高其模型性能，以及提高訓練神經網絡的效率。