python3爬蟲中分布式指的是什么

這篇文章主要介紹了python3爬蟲中分布式指的是什么，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

服務進程

我們先來看服務進程，服務進程主要工作：

l 服務進程負責啟動Queue

l 把Queue注冊到網絡上

l 往Queue里面寫入任務

我們用代碼來看實際效果：

import queue
from multiprocessing.managers import BaseManager
# 創建task_queue和result_queue對了用來存放任務和結果
task_queue = queue.Queue()
result_queue = queue.Queue()
class QueueManager(BaseManager):
 """
 繼承BaseManager
 """
 pass
# 把創建的兩個隊列注冊到網絡上，利用register方法，callable參數關聯對象
# 注意windows下綁定調用接口不能使用lambda
QueueManager.register('get_task_queue', callable=lambda: task_queue)
QueueManager.register('get_result_queue', callable=lambda: result_queue)
# 綁定5000端口， 設置密鑰
manager = QueueManager(address=('', 5000), authkey=b'abc')
# 啟動queue，監聽通道
manager.start()
# 獲得通過網絡訪問的對象，注意分布式進程必須通過manager.get_task_queue()獲得的Queue接口添加
task = manager.get_task_queue()
result = manager.get_result_queue()
# 添加任務
for url in ['url_' + str(i) for i in range(10)]:
 print('put task %s...' % url)
 task.put(url)
# 獲取返回結果
for i in range(10):
 print('result is %s' % result.get(timeout=10))
# 關閉管理
manager.shutdown()
print('master exit')

任務進程

任務進程主要的工作如下：

l 注冊獲取網絡上queue

l 連接服務器

l 從task隊列獲取任務，并寫入結果

示例代碼如下：

import time
from multiprocessing.managers import BaseManager
class QueueManager(BaseManager):
 """
 繼承類BaseManager
 """
 pass
# 使用register注冊，獲取網絡queue名稱
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')
# 配置服務器ip并連接服務器
server_addr = '127.0.0.1'
print('connect to server %s...' % server_addr)
m = QueueManager(address=(server_addr, 5000), authkey=b'abc')
# 從網絡連接
m.connect()
# 獲取queue對象
task = m.get_task_queue()
result = m.get_result_queue()
# 從task獲取任務并將結果寫入result
while(not task.empty()):
 image_url = task.get(True, timeout=5)
 print('run task download %s...' % image_url)
 time.sleep(1)
 result.put('%s ------>success' % image_url)
print('worker exit')

感謝你能夠認真閱讀完這篇文章，希望小編分享python3爬蟲中分布式指的是什么內容對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!