跳躍連接:殘差網絡使用了跳躍連接,將輸入與輸出相加,將殘差映射為恒等映射。這種設計可以使得網絡更容易學習殘差,從而加速收斂和提高性能。
殘差塊:殘差網絡的基本單元是殘差塊,每個殘差塊包含多個卷積層和跳躍連接。這種結構可以有效地學習不同層次的特征,并且降低了梯度消失的風險。
深度網絡:殘差網絡可以構建非常深的網絡,因為跳躍連接可以幫助梯度傳播更容易地達到較深的層次,從而實現更好的性能。
非線性:殘差網絡中每個殘差塊都包含非線性激活函數,例如ReLU,用于增加網絡的表達能力。
全局平均池化:在殘差網絡的末尾通常會使用全局平均池化層替代傳統的全連接層,這可以減少參數數量,降低過擬合的風險,同時提高模型的泛化能力。