溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
使用TensorFlow的一個優勢是，它可以維護操作狀態和基于反向傳播自動地更新模型變量。
TensorFlow通過計算圖來更新變量和最小化損失函數來反向傳播誤差的。這步將通過聲明優化函數（optimization function）來實現。一旦聲明好優化函數，TensorFlow將通過它在所有的計算圖中解決反向傳播的項。當我們傳入數據，最小化損失函數，TensorFlow會在計算圖中根據狀態相應的調節變量。
回歸算法的例子從均值為1、標準差為0.1的正態分布中抽樣隨機數，然后乘以變量A，損失函數為L2正則損失函數。理論上，A的最優值是10，因為生成的樣例數據均值是1。
二個例子是一個簡單的二值分類算法。從兩個正態分布（N（-1，1）和N（3，1））生成100個數。所有從正態分布N（-1，1）生成的數據標為目標類0；從正態分布N（3，1）生成的數據標為目標類1，模型算法通過sigmoid函數將這些生成的數據轉換成目標類數據。換句話講，模型算法是sigmoid（x+A），其中，A是要擬合的變量，理論上A=-1。假設，兩個正態分布的均值分別是m1和m2，則達到A的取值時，它們通過-（m1+m2）/2轉換成到0等距的值。后面將會在TensorFlow中見證怎樣取到相應的值。
同時，指定一個合適的學習率對機器學習算法的收斂是有幫助的。優化器類型也需要指定，前面的兩個例子會使用標準梯度下降法，它在TensorFlow中的實現是GradientDescentOptimizer()函數。
# 反向傳播
#----------------------------------
#
# 以下Python函數主要是展示回歸和分類模型的反向傳播
import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
from tensorflow.python.framework import ops
ops.reset_default_graph()
# 創建計算圖會話
sess = tf.Session()
# 回歸算法的例子:
# We will create sample data as follows:
# x-data: 100 random samples from a normal ~ N(1, 0.1)
# target: 100 values of the value 10.
# We will fit the model:
# x-data * A = target
# Theoretically, A = 10.
# 生成數據，創建占位符和變量A
x_vals = np.random.normal(1, 0.1, 100)
y_vals = np.repeat(10., 100)
x_data = tf.placeholder(shape=[1], dtype=tf.float32)
y_target = tf.placeholder(shape=[1], dtype=tf.float32)
# Create variable (one model parameter = A)
A = tf.Variable(tf.random_normal(shape=[1]))
# 增加乘法操作
my_output = tf.multiply(x_data, A)
# 增加L2正則損失函數
loss = tf.square(my_output - y_target)
# 在運行優化器之前，需要初始化變量
init = tf.global_variables_initializer()
sess.run(init)
# 聲明變量的優化器
my_opt = tf.train.GradientDescentOptimizer(0.02)
train_step = my_opt.minimize(loss)
# 訓練算法
for i in range(100):
rand_index = np.random.choice(100)
rand_x = [x_vals[rand_index]]
rand_y = [y_vals[rand_index]]
sess.run(train_step, feed_dict={x_data: rand_x, y_target: rand_y})
if (i+1)%25==0:
print('Step #' + str(i+1) + ' A = ' + str(sess.run(A)))
print('Loss = ' + str(sess.run(loss, feed_dict={x_data: rand_x, y_target: rand_y})))
# 分類算法例子
# We will create sample data as follows:
# x-data: sample 50 random values from a normal = N(-1, 1)
# + sample 50 random values from a normal = N(1, 1)
# target: 50 values of 0 + 50 values of 1.
# These are essentially 100 values of the corresponding output index
# We will fit the binary classification model:
# If sigmoid(x+A) < 0.5 -> 0 else 1
# Theoretically, A should be -(mean1 + mean2)/2
# 重置計算圖
ops.reset_default_graph()
# Create graph
sess = tf.Session()
# 生成數據
x_vals = np.concatenate((np.random.normal(-1, 1, 50), np.random.normal(3, 1, 50)))
y_vals = np.concatenate((np.repeat(0., 50), np.repeat(1., 50)))
x_data = tf.placeholder(shape=[1], dtype=tf.float32)
y_target = tf.placeholder(shape=[1], dtype=tf.float32)
# 偏差變量A (one model parameter = A)
A = tf.Variable(tf.random_normal(mean=10, shape=[1]))
# 增加轉換操作
# Want to create the operstion sigmoid(x + A)
# Note, the sigmoid() part is in the loss function
my_output = tf.add(x_data, A)
# 由于指定的損失函數期望批量數據增加一個批量數的維度
# 這里使用expand_dims（）函數增加維度
my_output_expanded = tf.expand_dims(my_output, 0)
y_target_expanded = tf.expand_dims(y_target, 0)
# 初始化變量A
init = tf.global_variables_initializer()
sess.run(init)
# 聲明損失函數 交叉熵(cross entropy)
xentropy = tf.nn.sigmoid_cross_entropy_with_logits(logits=my_output_expanded, labels=y_target_expanded)
# 增加一個優化器函數 讓TensorFlow知道如何更新和偏差變量
my_opt = tf.train.GradientDescentOptimizer(0.05)
train_step = my_opt.minimize(xentropy)
# 迭代
for i in range(1400):
rand_index = np.random.choice(100)
rand_x = [x_vals[rand_index]]
rand_y = [y_vals[rand_index]]
sess.run(train_step, feed_dict={x_data: rand_x, y_target: rand_y})
if (i+1)%200==0:
print('Step #' + str(i+1) + ' A = ' + str(sess.run(A)))
print('Loss = ' + str(sess.run(xentropy, feed_dict={x_data: rand_x, y_target: rand_y})))
# 評估預測
predictions = []
for i in range(len(x_vals)):
x_val = [x_vals[i]]
prediction = sess.run(tf.round(tf.sigmoid(my_output)), feed_dict={x_data: x_val})
predictions.append(prediction[0])
accuracy = sum(x==y for x,y in zip(predictions, y_vals))/100.
print('最終精確度 = ' + str(np.round(accuracy, 2)))
輸出：
Step #25 A = [ 6.12853956] Loss = [ 16.45088196] Step #50 A = [ 8.55680943] Loss = [ 2.18415046] Step #75 A = [ 9.50547695] Loss = [ 5.29813051] Step #100 A = [ 9.89214897] Loss = [ 0.34628963] Step #200 A = [ 3.84576249] Loss = [[ 0.00083012]] Step #400 A = [ 0.42345378] Loss = [[ 0.01165466]] Step #600 A = [-0.35141727] Loss = [[ 0.05375391]] Step #800 A = [-0.74206048] Loss = [[ 0.05468176]] Step #1000 A = [-0.89036471] Loss = [[ 0.19636908]] Step #1200 A = [-0.90850282] Loss = [[ 0.00608062]] Step #1400 A = [-1.09374011] Loss = [[ 0.11037558]] 最終精確度 = 1.0
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
