溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章給大家分享的是有關python使用多線程查詢數據庫的案例分析的內容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。
一.背景：
當數據量過大時，一個程序的執行時間就會主要花費在等待單次查詢返回結果，在這個過程中cpu無疑是處于等待io的空閑狀態的，這樣既浪費了cpu資源，又花費了大量時間（當然這里主要說多線程，批量查詢不在考慮范圍，總會存在不能批量查詢的情況），在這種非密集型運算（及大量占用cpu資源）的情況下在python中無疑運用多線程是一個非常棒的選擇。
二.知識點：
數據庫連接池的運用及優勢，python中多線程的運用，隊列的運用
數據庫連接池：限制了數據庫的連接最大個數，每次連接都是可以重復使用的，當然也可以限制每個連接的重復使用次數（這個在這里是沒必要的），需要注意的是設置的數據庫的最大連接個數最好要大于我們自己開的最大線程個數，一般邏輯是每個線程占用一個數據庫連接可以使程序達到最大速度，如果小于則可能存在同時連接個數大于數據庫允許的最大連接個數的風險。使用數據庫連接池的優勢在于，python多線程并發操作數據庫，會存在鏈接數據庫超時、數據庫連接丟失、數據庫操作超時等問題，而數據庫連接池提供線程間可共享的數據庫連接，并自動管理連接。
python多線程：在程序等待io的時間里調用多線程去數據庫執行查詢操作。
隊列：這個就是數據結構里面的知識了，一般隊列的常用模式先進先出隊列。（這里主要用的是隊列取一個數就少一個數的原理，其實用列表也可以實現，他的先進先出主要強調的是一個順序關系，這一點到沒用上，就當是練練手了）
三.兩段代碼作比較：
數據庫的截圖：
第一段代碼：正常循環查詢并打印出執行時間
#!/usr/bin/python # -*- coding=utf-8 -*- import time import threading import MySQLdb import Queue from MySQLdb.cursors import DictCursor from DBUtils.PooledDB import PooledDB def mysql_connection(): host = 'localhost' user = 'root' port = 3306 password = '123456' db = 'test' charset = 'utf8' limit_count = 3 # 最低預啟動數據庫連接數量 pool = PooledDB(MySQLdb, limit_count, maxconnections=15, host=host, user=user, port=port, passwd=password, db=db, charset=charset, use_unicode=True, cursorclass=DictCursor) return pool start = time.time() pool = mysql_connection() for id in range(50): con = pool.connection() cur = con.cursor() sql = '''select id,name,age,weight from test where id = %s '''%id cur.execute(sql) time.sleep(0.5) result = cur.fetchall() if result: print('this is tread %s (%s,%s,%s,%s)'%(id,result[0]['id'],result[0]['name'],result[0]['age'],result[0]['weight'])) else: print('this tread %s result is none'%id) end = time.time() - start print(end)
執行結果：
第二段代碼：限制數據庫連接池最大15個連接，用隊列限制最大線程個數為10個
#!/usr/bin/python
# -*- coding=utf-8 -*-
import time
import threading
import MySQLdb
import Queue
from MySQLdb.cursors import DictCursor
from DBUtils.PooledDB import PooledDB
def mysql_connection():
host = 'localhost'
user = 'root'
port = 3306
password = '123456'
db = 'test'
charset = 'utf8'
limit_count = 3 # 最低預啟動數據庫連接數量
pool = PooledDB(MySQLdb, limit_count, maxconnections=15, host=host, user=user, port=port, passwd=password, db=db, charset=charset,
use_unicode=True, cursorclass=DictCursor)
return pool
def tread_connection_db(id):
con = pool.connection()
cur = con.cursor()
sql = '''select id,name,age,weight from test where id = %s '''%id
cur.execute(sql)
time.sleep(0.5)
result = cur.fetchall()
if result:
print('this is tread %s (%s,%s,%s,%s)'%(id,result[0]['id'],result[0]['name'],result[0]['age'],result[0]['weight']))
else:
print('this tread %s result is none'%id)
con.close()
if __name__=='__main__':
start = time.time()
#創建線程連接池，最大限制15個連接
pool = mysql_connection()
#創建隊列，隊列的最大個數及限制線程個數
q=Queue.Queue(maxsize=10)
#測試數據，多線程查詢數據庫
for id in range(50):
#創建線程并放入隊列中
t = threading.Thread(target=tread_connection_db, args=(id,))
q.put(t)
#隊列隊滿
if q.qsize()==10:
#用于記錄線程，便于終止線程
join_thread = []
#從對列取出線程并開始線程，直到隊列為空
while q.empty()!=True:
t = q.get()
join_thread.append(t)
t.start()
#終止上一次隊滿時里面的所有線程
for t in join_thread:
t.join()
end = time.time() - start
print(end)程序備注應該還算比較清晰的哈，程序執行結果：
感謝各位的閱讀！關于python使用多線程查詢數據庫的案例分析就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
