Pytorch?nn.Dropout怎么使用

這篇文章主要介紹“Pytorch nn.Dropout怎么使用”，在日常操作中，相信很多人在Pytorch nn.Dropout怎么使用問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Pytorch nn.Dropout怎么使用”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

1.nn.Dropout用法一

一句話總結：Dropout的是為了防止過擬合而設置

詳解部分：
1.Dropout是為了防止過擬合而設置的
2.Dropout顧名思義有丟掉的意思
3.nn.Dropout(p = 0.3) # 表示每個神經元有0.3的可能性不被激活
4.Dropout只能用在訓練部分而不能用在測試部分
5.Dropout一般用在全連接神經網絡映射層之后，如代碼的nn.Linear(20, 30)之后

代碼部分：

class Dropout(nn.Module):
	def __init__(self):
		super(Dropout, self).__init__()
		self.linear = nn.Linear(20, 40)
		self.dropout = nn.Dropout(p = 0.3) # p=0.3表示下圖（a）中的神經元有p = 0.3的概率不被激活

	def forward(self, inputs):
		out = self.linear(inputs)
		out = self.dropout(out)
		return out

net = Dropout()
# Dropout只能用在train而不能用在test	

2.nn.Dropout用法二

以代碼為例

import torch
import torch.nn as nn
a = torch.randn(4, 4)
print(a)
"""
tensor([[ 1.2615, -0.6423, -0.4142,  1.2982],
        [ 0.2615,  1.3260, -1.1333, -1.6835],
        [ 0.0370, -1.0904,  0.5964, -0.1530],
        [ 1.1799, -0.3718,  1.7287, -1.5651]])
"""
dropout = nn.Dropout()
b = dropout(a)
print(b)
"""
tensor([[ 2.5230, -0.0000, -0.0000,  2.5964],
        [ 0.0000,  0.0000, -0.0000, -0.0000],
        [ 0.0000, -0.0000,  1.1928, -0.3060],
        [ 0.0000, -0.7436,  0.0000, -3.1303]])
"""

由以上代碼可知Dropout還可以將部分tensor中的值置為0

補充：torch.nn.dropout和torch.nn.dropout2d的區別

import torch
import torch.nn as nn
import torch.autograd as autograd

m = nn.Dropout(p=0.5)
n = nn.Dropout2d(p=0.5)
input = autograd.Variable(torch.randn(1, 2, 6, 3)) ## 對dim=1維進行隨機置為0

print(m(input))
print('****************************************************')
print(n(input))

下面的都是錯誤解釋和錯誤示范，沒有刪除的原因是留下來進行對比，希望不要犯這類錯誤

# -*- coding: utf-8 -*-
import torch
import torch.nn as nn
import torch.autograd as autograd

m = nn.Dropout(p=0.5)
n = nn.Dropout2d(p=0.5)
input = autograd.Variable(torch.randn(2, 6, 3)) ## 對dim=1維進行隨機置為0

print(m(input))
print('****************************************************')
print(n(input))

結果是：

可以看到torch.nn.Dropout對所有元素中每個元素按照概率0.5更改為零， 綠色橢圓，
而torch.nn.Dropout2d是對每個通道按照概率0.5置為0， 紅色方框內
注：我只是圈除了部分

到此，關于“Pytorch nn.Dropout怎么使用”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！