91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

怎么用pytorch中backward()方法自動求梯度

發布時間:2023-02-25 10:07:42 來源:億速云 閱讀:177 作者:iii 欄目:開發技術

本篇內容介紹了“怎么用pytorch中backward()方法自動求梯度”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!

    pytorch backward()方法自動求梯度

    1、區分源張量和結果張量

    x = torch.arange(-8.0, 8.0, 0.1, requires_grad= True)
    y = x.relu()

    x為源張量,基于源張量x得到的張量y為結果張量。

    2、如何使用backward()方法自動求梯度

    一個標量調用它的backward()方法后,會根據鏈式法則自動計算出源張量的梯度值。

    2.1、結果張量是一維張量

    基于以上例子,就是將一維張量y變成標量后,然后通過調用backward()方法,就能自動計算出x的梯度值。

    那么,如何將一維張量y變成標量呢?

    一般通過對一維張量y進行求和來實現,即y.sum()。

    一個一維張量就是一個向量,對一維張量求和等同于這個向量點乘一個等維的單位向量,使用求和得到的標量y.sum()對源張量x求導與y的每個元素對x的每個元素求導結果是一樣的,最終對源張量x的梯度求解沒有影響。

    因此,代碼如下:

    y.sum().backward() 
    x.grad

    2.2、結果張量是二維張量或更高維張量

    撇開上面例子,結果變量y可能是二維張量或者更高維的張量,這時可以理解為一般點乘一個等維的單位張量(點乘,是向量中的概念,這樣描述只是方便理解)

    代碼如下:

    y.backward(torch.ones_like(y))#grad_tensors=torch.ones_like(y)
    x.grad

    pytorch中的梯度計算

    什么是梯度?

    在一元函數中,某點的梯度標的就說某點的導數. 在多元函數中某點的梯度表示的是由每個自變量所對應的偏導數所組成的向量

    在前面的線性回歸中 就像y = wx + b方程中求出w參數最優的解,就需要對w參數進行偏導數的求取,然后通過偏導數的值來調整w參數以便找到最優解。

    自動計算梯度和偏導數

    在PyTorch中可以使用torch.autograd.backward()方法來自動計算梯度

    在定義張量時,可以指定requires_grad=True表示這個張量可以求偏導數

    import torch
    # 隨機出張量x 指定可以計算偏導數
    x = torch.randn(1,requires_grad=True)
    # y和z張量不可以求偏導
    y = torch.randn(1)
    z = torch.randn(1)
    # f1中有張量允許求偏導
    f1 = 2*x + y
    # f2中沒有張量可以允許求偏導
    f2 = y + z
    # 打印兩個方程的梯度
    print(f1.grad_fn)
    print(f2.grad_fn)

    怎么用pytorch中backward()方法自動求梯度

    得出結論:

    • f1中有允許可以求偏導的張量存在才可以求梯度

    • grad_fn為梯度

    1. 求x的偏導數

    # 可以求梯度的變量先使用backward()反向傳播
    f1.backward()
    # 使用張量的grad屬性拿到偏導數的值
    x.grad

    怎么用pytorch中backward()方法自動求梯度

    2. 停止梯度的計算

    張量.requires_grad_(False)

    # 創建張量 指定可以求偏導
    a = torch.randn(2,2,requires_grad=True)
    # a對應的b變量
    b = ((a * 3)/(a - 1))
    # 查看梯度
    print(b.grad_fn)
    # 停止a張量可以求偏導
    a.requires_grad_(False)
    # 再次指定b對應變量
    b = ((a * 3) / (a - 1))
    # 為None了
    print(b.grad_fn)

    怎么用pytorch中backward()方法自動求梯度

    3. 獲取到可以求偏導數的張量相同的內容,但是新變量不可以求偏導

    張量.detach()方法

    a = torch.randn(2,2,requires_grad=True)
    # 可以求偏導的張量返回一個相同的張量但是不可以求偏導數
    b = a.detach()
    print(a.requires_grad)
    print(b.requires_grad)

    4. 在作用域中張量不可計算偏導數

    with torch.no_grad(): 內的整個作用域

    a = torch.randn(2, 2, requires_grad=True)
    print((a ** 2).requires_grad)
    with torch.no_grad():
        print((a ** 2).requires_grad)

    梯度的清空

    在PyTorch中,如果我們利用torch.autograd.backward()方法求解張量的梯度, 在多次運行該函數的情況下, 該函數會將計算得到的梯度累加起來。

    所以在函數中計算張量的偏導數,每次計算完修改完參數要清空梯度的計算。

    不清空梯度計算:

    x = torch.ones(4, requires_grad=True)
    y = (2*x + 1).sum()
    z = (2*x).sum()
    y.backward()
    print("第一次偏導:",x.grad)
    z.backward()
    print("第二次偏導:",x.grad)

    會累加

    怎么用pytorch中backward()方法自動求梯度

    使用張量.grad.zero_()方法清空梯度的計算:

    x = torch.ones(4, requires_grad=True)
    y = (2*x + 1).sum()
    z = (2*x).sum()
    y.backward()
    x.grad.zero_()
    print("第一次偏導:",x.grad)
    z.backward()
    print("第二次偏導:",x.grad)

    怎么用pytorch中backward()方法自動求梯度

    “怎么用pytorch中backward()方法自動求梯度”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!

    向AI問一下細節

    免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

    AI

    时尚| 新津县| 江安县| 河北省| 庆阳市| 阜宁县| 黄梅县| 高安市| 雷山县| 元阳县| 阳谷县| 甘谷县| 敦煌市| 永昌县| 柳林县| 商水县| 阿瓦提县| 怀安县| 琼海市| 菏泽市| 宜城市| 淳化县| 滦南县| 平湖市| 信阳市| 铅山县| 怀远县| 岱山县| 榆社县| 屯留县| 南木林县| 元氏县| 稷山县| 华阴市| 临沭县| 容城县| 工布江达县| 怀来县| 桂阳县| 新平| 绥中县|