溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
小編給大家分享一下pytorch如何限制GPU使用效率，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討方法吧！
問題
用過 tensorflow 的人都知道， tf 可以限制程序在 GPU 中的使用效率，但 pytorch 中沒有這個操作。
思路
于是我想到了一個代替方法，玩過單片機點燈的同學都知道，燈的亮度是靠占空比實現的，這實際上也是計算機的運行原理。 那我們是不是也可以通過增加 GPU 不工作的時間，進而降低 GPU 的使用效率 ？
主要代碼
import time ... rest_time = 0.15 ... for _ in range( XXX ): ... outputs = all_GPU_operations( data_set ) # 假設所有的GPU運算都在這里 time.sleep( rest_time ) # 讓顯卡休息一會再進行下個循環的使用 ... ...
這樣子 GPU 的使用效率就可以減小了。
rest_time 的越大 GPU 使用率越低，rest_time 的越小 GPU 使用率越高。
缺點是很難直接控制 GPU 的具體使用率，rest_time 得自己調試后確定。
補充知識：深度學習PyTorch，TensorFlow中GPU利用率較低,使用率周期性變化的問題
在用tensorflow訓練神經網絡時,發現訓練迭代的速度時而快時而慢,監督的GPU使用率也是周期性變化,通過了解,發現原因是:
GPU在等待CPU讀取,預處理,并傳輸數據過來,因此要提高GPU的使用率,降低GPU的等待時間,需要加快CPU的處理速度.
在PYTORCH中的解決方案是用torch.utils.data.DataLoader,用num_workers設置線程數:
torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size, shuffle=True, num_workers=8, pin_memory=True)
在tensorflow中的解決方案是用tf.data.Dataset.map(num_parallel_calls=8)中的num_parallel_calls設置讀取數據的線程數:
用 tf.data讀取數據, tf.data.Dataset中有一個map函數,它有個num_parallel_calls參數,可以控制CPU的線程,加快數據的讀取速度,一般將線程設置為8效果最好.
看完了這篇文章，相信你對pytorch如何限制GPU使用效率有了一定的了解，想了解更多相關知識，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
