什么是標簽平滑？

標簽平滑是一種損失函數的修正，已被證明是非常有效的訓練深度學習網絡的方法。標簽平滑提高了圖像分類、翻譯甚至語音識別的準確性。我們的團隊用它來打破許多 FastAI 排行榜記錄：

簡單的解釋是，它將神經網絡的訓練目標從“1”調整為“1-label smoothing adjustment”，這意味著神經網絡被訓練得對自己的答案不那么自信。默認值通常是 0.1，這意味著目標答案是 0.9(1 - 0.1)而不是 1。

例如:假設我們要將圖像分類為狗和貓。如果我們看到一張狗的照片，我們訓練 NN(通過交叉熵損失)向 1 表示狗，0 表示貓的方向移動。如果是一只貓，我們訓練的方向正好相反，1 代表貓，0 代表狗。換句話說，這是一個 binary 或者說“hard”的答案。

然而，NN 有一個壞習慣，就是在訓練過程中對預測變得“過于自信”，這可能會降低它們的泛化能力，從而在新的、看不見的未來數據上表現得同樣出色。此外，大型數據集通常會包含標簽錯誤的數據，這意味著神經網絡在本質上應該對“正確答案”持懷疑態度，以減少一定程度上圍繞錯誤答案的極端情況下的建模。

因此，標簽平滑所做的就是通過訓練 NN 向“1-adjustment”目標移動，然后在其余的類上除以這個 adjustment，從而使它對自己的答案不那么自信，而不是簡單的設為 1。

對于我們的二分類貓/狗示例，0.1 的標簽平滑意味著目標答案將是 0.90(90%確信)這是一個狗的圖像，而 0.10(10%確信)這是一只貓，而不是先前的向 1 或 0 移動的結果。由于不太確定，它作為一種正則化形式，提高了它對新數據的預測能力。

可以看到，代碼中的標簽平滑有助于理解它如何比通常的數學運算更好地工作(來自 FastAI github)。ε 是標簽平滑調整因子：

標簽平滑對神經網絡的影響

現在我們進入文章的核心部分，直觀地展示標簽平滑對神經網絡分類處理的影響。

首先，AlexNet 在訓練中對“飛機、汽車和鳥類”進行分類。

左：沒有使用標簽平滑進行訓練，右：使用標簽標簽平滑進行訓練

驗證集上的表現:

你可以看到的，標簽平滑強制對分類進行更緊密的分組，同時強制在聚類之間進行更等距的間隔。

“河貍、海豚和水獺”的 ResNet 例子更能說明問題：

正如圖像所顯示的，標簽平滑為最終的激活產生了更緊密的聚類和更大的類別間的分離。

這是為什么標簽平滑可以產生更多的正則化和魯棒的神經網絡的主要原因，重要的是趨向于更好地泛化未來的數據。然而，除了得到了更好的激活值的中心，還有額外的好處。

標簽平滑的隱式網絡校正功能

在本文中，Hinton 等人從可視化過程出發，展示了如何在不需要手動調節溫度的情況下，自動校準網絡，減少網絡校準誤差。

以前的研究(Guo et al)表明，神經網絡常常過于自信，相對于它們的真實準確性校準得很差。為了證明這一點，Guo 等人開發了一種名為 ECE(預期校準誤差)的校準度量。通過使用這種度量方法，他們能夠使用一種稱為溫度縮放的訓練后的修改器來調整給定神經網絡的校準值，并使網絡更好地與它的真實能力保持一致(減少 ECE)，從而提高最終精度。(在傳遞給 softmax 函數之前，通過將最終 logits 與溫度標量相乘來執行溫度縮放)。

這篇論文展示了一些例子，但是最好的例子是在 ImageNet 上使用和不使用標簽平滑訓練的 ResNet，并將這兩個網絡與溫度調整網絡進行了比較。

正如你所看到的，使用標簽平滑訓練產生的網絡具有更好的 ECE(預期校準誤差)，更簡單地說，相對于它自己的精度有一個更理想的置信度。

實際上，經過平滑處理的標簽網絡并不是“過于自信”的，因此應該能夠在未來的真實數據上進行泛化并表現得更好。

知識蒸餾(什么時候不使用標簽平滑)

論文的最后一部分討論了這樣一個發現，即盡管標簽平滑可以產生用于各種任務的改進的神經網絡……如果最終的模型將作為其他“學生”網絡的老師，那么它不應該被使用。

作者注意到，盡管使用標簽平滑化訓練提高了教師的最終準確性，但與使用“硬”目標訓練的教師相比，它未能向學生網絡傳遞足夠多的知識(沒有標簽平滑化)。

標簽平滑“擦除”了在hard目標訓練中保留的一些細節。這樣的泛化有利于教師網絡的性能，但是它傳遞給學生網絡的信息更少。

標簽平滑產生的模型是不好的教師模型的原因可以通過初始的可視化或多或少的表現出來。通過強制將最終的分類劃分為更緊密的集群，該網絡刪除了更多的細節，將重點放在類之間的核心區別上。

這種“舍入”有助于網絡更好地處理不可見數據。然而，丟失的信息最終會對它教授新學生模型的能力產生負面影響。

因此，準確性更高的老師并不能更好地向學生提煉信息。