您好,登錄后才能下訂單哦!
怎么進行Python多線程并發的簡單測試,針對這個問題,這篇文章詳細介紹了相對應的分析和解答,希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。
之前也寫了一些簡單的Python程序,對于多線程的并發一直沒有涉及,今天決定先突破一下,把這個部分的內容先快速的掌握,然后在這個基礎上細化改進。
我的好友冰川擅長Python技術,所以就拿來主義,參考了他的文章。
python基礎16-并發編程(1)
Python的程序性能一直受到詬病,但是功能,擴展性上還是具有很大的優勢,程序中有一部分的概念就是并發,多線程相關的,所以我們也算是大躍進一下。
說到Python的性能,GIL是需要了解的,這是一個全局解釋器鎖,保證在同一時刻只有一個線程在運行,在保證線程安全的同時,性能上會受到一定的影響。我們簡單來做一個案例,在上面的文章中已經有了,我們簡單改一下。測試一把。
首先要準備一個文件urls.txt
比如我的技術博客,我隨便選擇了兩篇文章的下標,然后就可以循環生成一大批的urls.txt內容來。
for i in {2101076..2148323}
do
echo "http://blog.itpub.net/23718752/viewspace-"$i
done
要測試url的信息,我們需要引入一個模塊requests,通過發送請求來得到反饋的結果,如果是在200,300這樣的狀態值,就說明是可訪問的,否則就是不可方案問。
需要注意的地方或者是一些小技巧,我們可以使用strip()來得到一個串
>>> "http://www.jeanron100.com".strip()
'http://www.jeanron100.com'
,然后使用requests.get方法來得到結果值
>>> requests.get('http://www.baidu.com')
<Response [200]>
最終的狀態值可以使用status_code屬性來得到。
>>> requests.get('http://www.baidu.com').status_code
200
明白了這些要點,Python程序就會容易很多。
直接附上源程序:
#!/usr/bin/evn python
import requests
import time
def get_site_code(url):
r = requests.get(url)
status = r.status_code
line = url + ' ' + str(status)
with open('/tmp/site_stauts.txt', 'a+') as f:
f.writelines(line + 'n')
if __name__ == '__main__':
print 'starting at:', time.ctime()
for url in open('urls.txt'):
url = url.strip()
get_site_code(url)
print 'Done at:', time.ctime()
整個過程,大概耗時37秒鐘,urls大概是30多個。
# python a.pl
starting at: Wed Dec 6 07:00:34 2017
Done at: Wed Dec 6 07:01:11 2017
我們再來看看多線程的部分,毫無疑問,我們需要一個線程相關的模塊,在這里就是threading
我們可以直接開啟多個線程,不做線程的粒度控制,比如現在有30個請求,直接就是30個線程,暫時沒有做成線程池的那種模式,初始化的時候,可以使用如下的方式來初始化線程。
threading.Thread(target=get_site_code, args=(url,))
使用start方法啟動線程
threads[i].start()
如果一個線程在執行過程中要調用另外一個線程,需要等到它完成以后才能接著執行,在這里就是join方法。
threads[i].join()
源程序如下:
#!/usr/bin/evn python
import requests
import time
import threading
def get_site_code(url):
r = requests.get(url)
status = r.status_code
line = url + ' ' + str(status)
with open('/tmp/site_stauts.txt', 'a+') as f:
f.writelines(line + 'n')
if __name__ == '__main__':
print 'starting at:', time.ctime()
threads = []
for url in open('urls.txt'):
url = url.strip()
t = threading.Thread(target=get_site_code, args=(url,))
threads.append(t)
for i in range(len(threads)):
threads[i].start()
for i in range(len(threads)):
threads[i].join()
print 'Done at:', time.ctime()
使用了多線程之后,耗時大概是3秒鐘,提高了10多倍,收益還是很大的。
# python b.pl
starting at: Wed Dec 6 07:24:36 2017
Done at: Wed Dec 6 07:24:39 2017
隨后會考慮從其他的角度來持續的改進,改進的空間依舊很大。
關于怎么進行Python多線程并發的簡單測試問題的解答就分享到這里了,希望以上內容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關注億速云行業資訊頻道了解更多相關知識。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。