溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
一. 指定一個gpu訓練的兩種方法：
1.代碼中指定
import torch torch.cuda.set_device(id)
2.終端中指定
CUDA_VISIBLE_DEVICES=1 python 你的程序
其中id就是你的gpu編號
二. 多gpu并行訓練：
torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)
該函數實現了在module級別上的數據并行使用，注意batch size要大于GPU的數量。
參數 ：
module：需要多GPU訓練的網絡模型
device_ids： GPU的編號（默認全部GPU，或[0,1] ,[0,1,2]）
output_device：（默認是device_ids[0])
dim：tensors被分散的維度，默認是0
在保存模型時要注意要加上"module",例如：
network.module.state_dict()
以上這篇pytorch 指定gpu訓練與多gpu并行訓練示例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
