RELU以及其在深度學習中的作用是什么

RELU以及其在深度學習中的作用是什么，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

神經網絡和深度學習中的激活函數在激發隱藏節點以產生更理想的輸出方面起著重要作用。激活函數的主要目的是將非線性特性引入模型。

在人工神經網絡中，給定一個輸入或一組輸入，節點的激活函數定義該節點的輸出。可以將標準集成電路視為激活功能的控制器，根據輸入的不同，激活功能可以是“ ON”或“ OFF”。

Sigmoid和tanh是單調、可微的激活函數，是在RELU出現以前比較流行的激活函數。然而，隨著時間的推移，這些函數會遭受飽和，這導致出現梯度消失的問題。解決這一問題的另一種和最流行的激活函數是直線修正單元(ReLU)。

上面的圖中用藍線表示的是直線單元(ReLU)，而綠線是ReLU的變體，稱為Softplus。ReLU的其他變體包括Leaky ReLU、ELU、SiLU等，用于提高某些任務的性能。

在本文中，我們只考慮直線單元(ReLU)，因為默認情況下，它仍然是執行大多數深度學習任務最常用的激活函數。它的變體通常用于特定的目的，在那里他們可能有輕微的優勢在ReLU。

這個激活函數是Hahnloser等人在2000年首次引入到一個動態網絡中，具有很強的生物學動機和數學證明。與2011年之前廣泛使用的激活函數，如logistic sigmoid(靈感來自于概率理論和logistic回歸)及其更實用的tanh（對應函數雙曲正切）相比，2011年首次證明了該函數能夠更好地訓練更深層次的網絡。

截止到2017年，整流器是深度神經網絡中最受歡迎的激活函數。采用整流器的單元也稱為整流線性單元(ReLU)。

RELU的最大問題是它在點0處是不可微的。而研究人員傾向于使用可微函數，例如S型和tanh。但是在0點可微這種情況畢竟還是特殊情況，所以到目前為止ReLU還是深度學習的最佳激活功能，畢竟他需要的計算量是非常小的，計算速度很快。

ReLU激活函數在除0點外的所有點都是可微的。對于大于0的值，我們只考慮函數的最大值。可以這樣寫:

f(x) = max{0, z}

簡單地說，也可以這樣寫:

if input > 0:    
return input
else:    
return 0

所有負數默認為0，并考慮正數的最大值。

對于神經網絡的反向傳播計算，ReLU的判別相對容易。我們唯一要做的假設是在點0處的導數，也被認為是0。這通常不是一個大問題，而且在大多數情況下都能很好地工作。函數的導數就是斜率的值。負值的斜率是0.0，正值的斜率是1.0。

ReLU激活函數的主要優點是:

• 卷積層和深度學習:它們是卷積層和深度學習模型訓練中最常用的激活函數。

• 計算簡單:整流函數實現起來很簡單，只需要一個max()函數。

• 代表性稀疏性:整流器函數的一個重要優點是它能夠輸出一個真正的零值。

• 線性行為:當神經網絡的行為是線性或接近線性時，它更容易被優化。

然而，經過RELU單元的主要問題是所有的負值會立即變為零，這降低了模型對數據正確擬合或訓練的能力。

這意味著任何給ReLU激活函數的負輸入都會立即將圖中的值變為零，這反過來會影響結果圖，因為沒有適當地映射負的值。不過，通過使用ReLU激活函數的不同變體(如Leaky ReLU和前面討論的其他函數)，可以很容易地修復這個問題。

關于RELU以及其在深度學習中的作用是什么問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。