pytorch模型之train模式與eval模式的示例分析

這篇文章主要介紹pytorch模型之train模式與eval模式的示例分析，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

原因

對于一些含有batch normalization或者是Dropout層的模型來說，訓練時的froward和驗證時的forward有計算上是不同的，因此在前向傳遞過程中需要指定模型是在訓練還是在驗證。

源代碼

[docs] def train(self, mode=True):
  r"""Sets the module in training mode.

  This has any effect only on certain modules. See documentations of
  particular modules for details of their behaviors in training/evaluation
  mode, if they are affected, e.g. :class:`Dropout`, :class:`BatchNorm`,
  etc.

  Returns:
   Module: self
  """
  self.training = mode
  for module in self.children():
   module.train(mode)
  return self

[docs] def eval(self):
  r"""Sets the module in evaluation mode.

  This has any effect only on certain modules. See documentations of
  particular modules for details of their behaviors in training/evaluation
  mode, if they are affected, e.g. :class:`Dropout`, :class:`BatchNorm`,
  etc.
  """
  #該方法調用了nn.train()方法，把參數默認值改為false. 增加聚合性
  return self.train(False)

在使用含有BN層，dropout層的神經網路來說，必須要區分訓練和驗證

以上是“pytorch模型之train模式與eval模式的示例分析”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！