溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
小編給大家分享一下python讀取幾千萬行的大表內存的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
Python是一種編程語言，內置了許多有效的工具，Python幾乎無所不能，該語言通俗易懂、容易入門、功能強大，在許多領域中都有廣泛的應用，例如最熱門的大數據分析，人工智能，Web開發等。
Python導數據的時候，需要在一個大表上讀取很大的結果集。
如果用傳統的方法，Python的內存會爆掉，傳統的讀取方式默認在內存里緩存下所有行然后再處理，內存容易溢出
解決的方法：
1）使用SSCursor(流式游標)，避免客戶端占用大量內存。(這個cursor實際上沒有緩存下來任何數據，它不會讀取所有所有到內存中，它的做法是從儲存塊中讀取記錄，并且一條一條返回給你。)
2）使用迭代器而不用fetchall,即省內存又能很快拿到數據。
import MySQLdb.cursors conn = MySQLdb.connect(host='ip地址', user='用戶名', passwd='密碼', db='數據庫名', port=3306, charset='utf8', cursorclass = MySQLdb.cursors.SSCursor) cur = conn.cursor() cur.execute("SELECT * FROM bigtable"); row = cur.fetchone() while row is not None: do something row = cur.fetchone() cur.close() conn.close()
需要注意的是，
1、因為SSCursor是沒有緩存的游標,結果集只要沒取完，這個conn是不能再處理別的sql，包括另外生成一個cursor也不行的。
如果需要干別的，請另外再生成一個連接對象。
2、 每次讀取后處理數據要快，不能超過60s，否則mysql將會斷開這次連接，也可以修改 SET NET_WRITE_TIMEOUT = xx 來增加超時間隔。
以上是“python讀取幾千萬行的大表內存的示例分析”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
