溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
使用Tensorflow怎么實現梯度異步更新？相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。
先計算梯度：
# 模型部分
Optimizer = tf.train.GradientDescentOptimizer(1)
gradient = Optimizer.compute_gradients(loss) # 每次計算所有變量的梯度
grads_holder = [(tf.placeholder(tf.float32, shape=g.get_shape()), v) for (g, v) in gradient]# 將每次計算的梯度保存
optm = Optimizer.apply_gradients(grads_holder) # 進行梯度更新
# 初始化部分
sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)
# 實際訓練部分
grads = [] # 定義一個空的列表用于存儲每次計算的梯度
for i in range(batchsize): # batchsize設置在這里
x_i = ... # 輸入
y_real = ... # 標簽
grad_i = sess.run(gradient, feed_dict={inputs: x_i, outputs: y_real}) #梯度計算
grads.append(grad_i) # 梯度存儲
# 定義一個空的字典用于存儲，batchsize中所有梯度的和
grads_sum = {}
# 將網絡中每個需要更新梯度的變量都遍歷一遍
for i in range(len(grads_holder)):
k = grads_holder[i][0] # 得到該變量名
# 將該變量名下的所有梯度求和，這里也可以求平均，求平均只需要除以batchsize
grads_sum[k] = sum([g[i][0] for g in grads])
# 完成梯度更新
sess.run(optm,feed_dict=grads_sum)看完上述內容，你們掌握使用Tensorflow怎么實現梯度異步更新的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
