溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
關于Pytorch中怎么自定義Dataset數據集類、怎樣使用DataLoader迭代加載數據，這篇官方文檔已經說得很清楚了，這里就不在贅述。
現在的問題：有的時候，特別對于NLP任務來說，輸入的數據可能不是定長的，比如多個句子的長度一般不會一致，這時候使用DataLoader加載數據時，不定長的句子會被胡亂切分，這肯定是不行的。
解決方法是重寫DataLoader的collate_fn，具體方法如下：
# 假如每一個樣本為：
sample = {
# 一個句子中各個詞的id
'token_list' : [5, 2, 4, 1, 9, 8],
# 結果y
'label' : 5,
}
# 重寫collate_fn函數，其輸入為一個batch的sample數據
def collate_fn(batch):
# 因為token_list是一個變長的數據，所以需要用一個list來裝這個batch的token_list
token_lists = [item['token_list'] for item in batch]
# 每個label是一個int，我們把這個batch中的label也全取出來，重新組裝
labels = [item['label'] for item in batch]
# 把labels轉換成Tensor
labels = torch.Tensor(labels)
return {
'token_list': token_lists,
'label': labels,
}
# 在使用DataLoader加載數據時，注意collate_fn參數傳入的是重寫的函數
DataLoader(trainset, batch_size=4, shuffle=True, num_workers=4, collate_fn=collate_fn)
使用以上方法，可以保證DataLoader能Load出一個batch的數據，load出來的東西就是重寫的collate_fn函數最后return出來的字典。
以上這篇Pytorch DataLoader 變長數據處理方式就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
