91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

如何理解pytorch的顯存機制torch.cuda.empty_cache()

發布時間:2021-12-04 18:45:01 來源:億速云 閱讀:559 作者:柒染 欄目:大數據

如何理解pytorch的顯存機制torch.cuda.empty_cache(),針對這個問題,這篇文章詳細介紹了相對應的分析和解答,希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

Pytorch已經可以自動回收我們不用的顯存,類似于python的引用機制,當某一內存內的數據不再有任何變量引用時,這部分的內存便會被釋放。但有一點需要注意,當我們有一部分顯存不再使用的時候,這部分釋放的顯存通過Nvidia-smi命令是看不到的,舉個例子:

device = torch.device('cuda:0')
# 定義兩個tensor
dummy_tensor_4 = torch.randn(120, 3, 512, 512).float().to(device)  # 120*3*512*512*4/1000/1000 = 377.48M
dummy_tensor_5 = torch.randn(80, 3, 512, 512).float().to(device)  # 80*3*512*512*4/1000/1000 = 251.64M

# 然后釋放
dummy_tensor_4 = dummy_tensor_4.cpu()
dummy_tensor_2 = dummy_tensor_2.cpu()
# 這里雖然將上面的顯存釋放了,但是我們通過Nvidia-smi命令看到顯存依然在占用
torch.cuda.empty_cache()
# 只有執行完上面這句,顯存才會在Nvidia-smi中釋放

Pytorch的開發者也對此進行說明了,這部分釋放后的顯存可以用,只不過不在Nvidia-smi中顯示罷了。

關于如何理解pytorch的顯存機制torch.cuda.empty_cache()問題的解答就分享到這里了,希望以上內容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關注億速云行業資訊頻道了解更多相關知識。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

泰和县| 洞头县| 行唐县| 星子县| 榆中县| 平和县| 克山县| 布尔津县| 巨野县| 洮南市| 勐海县| 西丰县| 新密市| 青铜峡市| 江西省| 乐昌市| 留坝县| 社会| 林口县| 颍上县| 四会市| 城口县| 周至县| 且末县| 横山县| 鲁甸县| 天全县| 柘城县| 图们市| 任丘市| 黄龙县| 安福县| 延庆县| 涪陵区| 苍南县| 宜良县| 兴化市| 吴川市| 昌图县| 济源市| 吐鲁番市|