python簡單批量梯度下降代碼怎么寫

python簡單批量梯度下降代碼怎么寫，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

簡單批量梯度下降代碼

其中涉及到公式

alpha表示超參數，由外部設定。過大則會出現震蕩現象，過小則會出現學習速度變慢情況，因此alpha應該不斷的調整改進。

注意1/m前正負號的改變

Xj的意義為j個維度的樣本。
下面為代碼部分

import numpy as np
#該處數據和linear_model中數據相同
x = np.array([4,8,5,10,12])
y = np.array([20,50,30,70,60])

#一元線性回歸 即 h_theta(x)=  y= theta0 +theta1*x
#初始化系數，最開始要先初始化theta0 和theta1
theta0,theta1 = 0,0
#最開始梯度下降法中也有alpha 為超參數，提前初始化為0.01
alpha = 0.01
#樣本的個數 ，在梯度下降公式中有x
m = len(x)
#設置停止條件，即梯度下降到滿足實驗要求時即可停止。
# 方案1：設置迭代次數，如迭代5000次后停止。
#（此處為2）方案2：設置epsilon，計算mse（均方誤差，線性回歸指標之一）的誤差，如果mse的誤差《= epsilon，即停止
#在更改epsilon的次數后，越小，迭代次數會越多，結果更加準確。
epsilon = 0.00000001
#設置誤差
error0,error1 = 0,0
#計算迭代次數
cnt = 0
def h_theta_x(x):
    return theta0+theta1*x
#接下來開始各種迭代
#"""用while 迭代"""
while True:
    cnt+=1
    diff=[0,0]
    #該處為梯度，設置了兩個梯度后再進行迭代,梯度每次都會清零后再進行迭代
    for i in range(m):
        diff[0]+=(y[i]-h_theta_x(x[i]))*1
        diff[1]+=(y[i]-h_theta_x(x[i]))*x[i]
    theta0 = theta0 + alpha * diff[0] / m
    theta1 = theta1 + alpha * diff[1] / m
    #輸出theta值
    # ”%s“表示輸出的是輸出字符串。格式化
    print("theta0:%s,theta1:%s"%(theta0,theta1))
    #計算mse
    for i in range(m):
        error1 +=(y[i]-h_theta_x(x[i]))**2
    error1/=m
    if(abs(error1-error0)<=epsilon):
        break
    else:
        error0 = error1
print("迭代次數:%s"%cnt)

#線性回歸結果:5.714285714285713     1.4285714285714448      87.14285714285714
#批量梯度下降結果：theta0:1.4236238440026219,theta1:5.71483960227916   迭代次數:3988
#在更改epsilon的次數后，越小，迭代次數會越多，結果更加準確。

在線性模型的代碼（代碼可參見另一條文章）中，得到運算結果a，b的值，與梯度下降后得到的結果theta0和theta1相近。增加實驗次數（如修改epsilon的次數）可以得到更為相近的結果。

運行完畢后發現其實該處理方式并不理想
因為梯度下降開始后，theta數量會增加，即變量也會增加。每次增加都需要重新編寫其中的循環和函數。
因此可以將他們編寫成向量的形式

import numpy as np
#X_b = np.array([[1,4],[1,8],[1,5],[1,10],[1,12]])
#y = np.array([20,50,30,70,60])
#改寫成向量形式
#運用random隨機生成100個樣本


np.random.seed(1)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.rand(100, 1)
X_b = np.c_[np.ones((100, 1)), X]
#print(X_b)
#此處的learning_rate 就是alpha
learning_rate = 0.01
#設置最大迭代次數，避免學習時間過長
n_iterations = 10000
#樣本格數
m = 100
#初始化thata, w0...wn，初始化兩個2*1 的隨機數
theta = np.random.randn(2, 1)

#不會設置閾值，直接設置超參數，迭代次數，迭代次數到了，我們就認為收斂了。先看結果，如果結果不好就去調參
for _ in range(n_iterations):
    #接著求梯度gradient,這兒的梯度是n個梯度。即x* (h_theta - y)
    #會得到一次迭代的n個theta值
    gradients = 1/m * X_b.T.dot(X_b.dot(theta)-y)
    #應用公式調整theta的值，theta_t + 1 = theta_t - grad * learning_rate ， 是一個向量
    theta = theta - learning_rate * gradients
print(theta)

看完上述內容，你們掌握python簡單批量梯度下降代碼怎么寫的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！