您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“如何解決Tensorflow內存泄露的問題”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領大家一起研究并學習一下“如何解決Tensorflow內存泄露的問題”這篇文章吧。
使用tensorflow進行編程時,經常遇到操作不當,帶來的內存泄露問題,這里有一個可以幫助debug問題所在方法:
https://stackoverflow.com/questions/51175837/tensorflow-runs-out-of-memory-while-computing-how-to-find-memory-leaks/51183870#51183870
使用tf.Graph.finalize()把運算圖變成只讀的,從而對圖的修改都會報錯,從而找到內存泄露的定點。
目前我出現過內存泄露問題的有兩處:
1.
session和graph沒有釋放內存。按照資料的說法,使用了with關鍵字可以在session異常退出時也釋放內存,否則要用session.close()關閉session。代碼如下:
with tf.Session() as session: #codes #一般使用with以后就會釋放內存,否則運行如下釋放 session.close() del session
另一方面,我是在session中加載graph(訓練好的模型),導致每次關閉程序再運行,graph出現重復加載的現象。錯誤代碼示例:
with tf.Seesion() as session: # 在session內部加載保存好的graph saver = tf.train.import_meta_graph('./CNN_cracks.meta') saver.restore(session, "./CNN_cracks") # codes
此處,在一次運行session時會加載一次graph,一次運行的時候沒問題,但多次運行(調試時),每次graph都會加載到內存而不被釋放,因而造成內存泄露。
正確的做法如下:
# 用with新建一個graph,這樣在運行完以及異常退出時就會釋放內存 graph = tf.Gragh() with graph.as_default(): saver = tf.train.import_meta_graph('./CNN_cracks.meta') with tf.Session(graph=graph) as session: saver.restore(session, "./CNN_cracks")
2.
一些tensorflow的運算似乎也會修改圖,原因未明。所以在在訓練里面把所有屬于tensorflow的運算都寫進去,運行session.run返回的只能是只讀。
##錯誤代碼 #訓練 graph = tf.Graph() with graph.as_default(): #codes predict = tf.nn.softmax(model(data)) #預測,這里訓練文件與預測文件是分離的 with tf.Session(graph=graph) as session: #codes predict = session.run(predict, feed_dict={data: block}) prediction = tf.argmax(predict, -1) #這里會對圖進行修改
##正確代碼 #訓練 graph = tf.Graph() with graph.as_default(): #codes predict = tf.argmax(tf.nn.softmax(model(data)), -1) #預測 with tf.Session(graph=graph) as session: #codes prediction = session.run(predict, feed_dict={data: block})
以上是“如何解決Tensorflow內存泄露的問題”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。