您好,登錄后才能下訂單哦!
這篇文章主要介紹Pytorch訓練過程出現nan怎么辦,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
使用shuffleNetV2+,使用自己的數據集,遇到了loss是nan的情況,而且top1精確率出現斷崖式上升,這顯示是不正常的。
在網上查了下解決方案。我的問題是出在學習率上了。
我自己做的樣本數據集比較小,就三類,每類大概三百多張,初始學習率是0.5。后來設置為0.1就解決了。
按照解決方案上寫的。出現nan的情況還有以下幾種:
學習率太大,但是樣本數據集又很小。(我的情況)
自定義的loss除以了一個很小的數字,小到接近0。
數據不干凈,數據本身就有nan,可以用numpy.isnan檢查。
target,即label是大于等于0的。從1到類別數目-1變化。
以上是“Pytorch訓練過程出現nan怎么辦”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。