分析PyMySQL獲取一條數據會讓內存爆炸的原因

這篇文章主要講解了“分析PyMySQL獲取一條數據會讓內存爆炸的原因”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“分析PyMySQL獲取一條數據會讓內存爆炸的原因”吧！

當Python 有讀寫 MySQL 數據的需求時，我們經常使用PyMySQL這個第三方庫來完成。

有時候如果一張表里面的數據非常大，但是我們只需要讀取一條數據，此時我們可能會想當然地使用cursor.fetchone()這個方法，以為這樣就真的可以只讀取一條數據：

import pymysql   connection = pymysql.connect(host='localhost',                              user='user',                              password='passwd',                              db='db',                              charset='utf8mb4',                              cursorclass=pymysql.cursors.DictCursor)                               with connection.cursor() as cursor:     db = 'select * from users where age > 10'     cursor.execute(db)     one_user = cursor.fetchone()

但實際上，上面這段代碼，與下面這段代碼沒有任何區別：

... with connection.cursor() as cursor:     sql = 'select * from users where age > 10'     cursor.execute(sql)     all_users = cursor.fetchall()     one_user = all_users[0]

這是因為，當我們執行到cursor.execute(sql)的時候，PyMySQL就已經把表里面所有的數據讀取到內存中了。而后面的cursor.fetchall()或者cursor.fetchone()只不過是從內存中返回全部數據還是返回1條數據而已。

我們來看PyMySQL的源代碼[1]。在cursor.execute()方法代碼如下圖所示：

其中第163行調用了self._query方法。我們再去到這個方法里面：

看到代碼第322行，調用了self._do_get_result()方法。我們再去這個方法里面看看：

注意代碼第342行，此時已經把所有數據存放到了self._rows列表中。

現在我們來看cursor.fetchone()方法：

可以看到，這里不過是從列表里面根據下標讀取一條數據出來而已。

再看cursor.fetchall()方法：

如果之前先多次調用過cursor.fetchone()，那么self.rownumber會持續增加。而調用cursor.fetchall()時，跳過之前已經返回過的數據，直接返回剩下的全部數據即可。如果之前沒有調用過cursor.fetchone()，那么直接返回全部數據。

所以，單純使用cursor.fetchone()并不能節省內存，如果表里面的數據非常大，還是會有內存爆炸的危險。

那么真正的解決辦法是什么呢?真正的解決辦法在創建數據庫連接的時候指定游標類型。pymysql.connect有一個參數叫做cursorclass，把它的值設定為pymysql.SSDictCursor即可解決問題。

我們來看一下如何正確使用它：

import pymysql   connection = pymysql.connect(host='localhost',                              user='user',                              password='passwd',                              db='db',                              charset='utf8mb4',                              cursorclass=pymysql.cursors.SSDictCursor)                               with connection.cursor() as cursor:     db = 'select * from users where age > 10'     cursor.execute(db)     for row in cursor:         print('對 cursor 直接進行迭代，每循環一次，從數據庫讀取一條數據。不會提前把所有數據讀取到內存中。')         print(row['name'])

感謝各位的閱讀，以上就是“分析PyMySQL獲取一條數據會讓內存爆炸的原因”的內容了，經過本文的學習后，相信大家對分析PyMySQL獲取一條數據會讓內存爆炸的原因這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！