溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
Pytorch GPU運算過程中會出現：“cuda runtime error(2): out of memory”這樣的錯誤。通常，這種錯誤是由于在循環中使用全局變量當做累加器，且累加梯度信息的緣故，用官方的說法就是："accumulate history across your training loop"。在默認情況下，開啟梯度計算的Tensor變量是會在GPU保持他的歷史數據的，所以在編程或者調試過程中應該盡力避免在循環中累加梯度信息。
下面舉個栗子：
上代碼：
total_loss=0 for i in range(10000): optimizer.zero_grad() output=model(input) loss=criterion(output) loss.backward() optimizer.step() total_loss+=loss #這里total_loss是跨越循環的變量，起著累加的作用， #loss變量是帶有梯度的tensor，會保持歷史梯度信息，在循環過程中會不斷積累梯度信息到tota_loss，占用內存
以上例子的修正方法是在循環中的最后一句修改為：total_loss+=float(loss)，利用類型變換解除梯度信息，這樣，多次累加不會累加梯度信息。
局部變量逗留導致內存泄露
局部變量通常在變量作用域之外會被Python自動銷毀，在作用域之內，不需要的臨時變量可以使用del x來銷毀。
在設計Linear Layers 的時候，盡量讓其規模小點
對于nn.Linear(m,n)這樣規模的線性函數，他的空間規模為O(mn),除此規模的空間來容納參數意外，還需要同樣規模的空間來存儲梯度，由此很容易造成GPU空間溢出。
相關的進程管理bash cmd
nvidia-smi監控GPU，
watch -n 1 nvidia-smi實時監控GPU，
watch -n 1 lscpu實時監控CPU，
ps -elf進程查看，
ps -elf | grep python查看Python子進程，
kill -9 [PID]殺死進程PID。
Referance:
Pytorch documentations
以上這篇解決pytorch GPU 計算過程中出現內存耗盡的問題就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
