怎么在ForeSpider數據采集器中設置代理IP

這篇文章主要介紹“怎么在ForeSpider數據采集器中設置代理IP”，在日常操作中，相信很多人在怎么在ForeSpider數據采集器中設置代理IP問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么在ForeSpider數據采集器中設置代理IP”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

-01- 創建代理IP

打開ForeSpider數據采集引擎，IP代理設置，如下圖所示創建代理IP。

1.名稱：自定義即可，可由文字、字母、其他符號等組成；

2.類型：有靜態代理和動態代理，ForeSpider采集系統中動靜態與市場上不同，ForeSpider爬蟲軟件中代理IP動靜態代理可以通過代理IP接入形式來區分靜態和動態。

①動態代理：爬蟲使用的代理IP是變化的，一般情況是通過代理IP服務商提供的一個API鏈接來獲取代理IP，這種情況是動態代理。在系統中，在如下圖標記位置填入API鏈接。

②靜態代理：爬蟲使用的代理IP是固定一個/多個IP地址，一般代理IP服務商會提供IP地址、端口、用戶名、密碼，這種情況是靜態代理IP。有的代理IP服務商只有IP地址和端口，這類也是屬于靜態代理，遇到這種情況時用戶名和密碼為空即可。

3.請求頻率：是指ForeSpider運行時調用每個代理IP的頻率，爬蟲運行時，線程數目=請求頻率*代理IP數。

比如：接入了一個每秒請求10個IP的代理，設置的請求頻率為5。那么爬蟲運行時，每秒請求50次代理IP，這時候采集運行速度中的線程數目最佳為50。

-02- 代理IP設置

1.動態代理IP設置

在ForeSpider爬蟲中，新建一個動態代理IP后，填寫以下幾個基本參數:

①協議類型：默認http/https，兩種協議均支持；

②返回格式：是指返回IP格式，包括TXT和未知格式，選擇TXT格式即可返回TXT格式，TXT格式可以不用寫腳本獲取IP；

③刷新周期：請求調用API的頻率，單位是毫秒，根據實際購買情況來填寫即可。

④請求地址：填寫API鏈接即可。

填寫完以上信息后可點擊【測試】按鈕進行測試，測試結果會顯示在屏幕下方。測試成功后，確認勾選所用代理IP，點擊保存按鈕，如下圖所示：

保存好之后，就可以開始進行數據采集了。

2.靜態代理IP設置

在ForeSpider爬蟲中，新建一個靜態代理IP后，需要填寫以下參數：

①IP地址：由代理IP服務商提供。

②端口：由代理IP服務商提供。

③類型：根據要采集網站類型來選擇，有http和https類型；

④有效時長：可理解為到期時長，非必填。

當同時使用多個代理IP且到期時長不一致時可以根據實際情況填寫，有效期到則自動停止使用該代理IP；

當有效時間在1天以內時，建議填寫，防止出現代理IP到期，ForeSpider爬蟲還在運行而導致采集失敗的情況。

如果不填寫，需要在代理IP到期之前手動關閉，否則會導致采集失敗。如下圖所示：

⑤用戶名：由代理IP服務商提供。

⑥密碼：由代理IP服務商提供。

填寫完之后在需要使用的代理IP前打上對勾，打開代理IP按鈕，后保存。如下圖所示：

-03- 腳本設置

在ForeSpider數據采集系統中，當代理IP接入情況不屬于以上描述靜態/動態接入方式時，使用腳本設置代理IP。

腳本設置與動態設置類似，需要先把以下幾項根據實際情況來進行設置，具體如下：

①協議類型：默認http/https，兩種協議均支持；

②返回格式：選擇未知格式即可，腳本可獲取TXT格式。

③刷新周期：請求調用API的頻率，單位是毫秒，根據實際購買情況來填寫即可。

④請求地址：填寫代理商提供的API鏈接。

⑤POST DATA：根據代理不同，post請求的情況下填寫該內容。

⑥代碼編輯區：需要填寫一段腳本，以調用代理IP。代碼如下：

ips = DOWNDATA.Split('\n');vart;for(i=0;i

將以上的代碼粘貼到編輯框后，通常僅需修改最后一句腳本，括號里分別填寫：IP地址+端口、用戶名、密碼、有效時長、http/https即可。

-04- 其他設置

ForeSpider爬蟲系統中，代理IP混用策略有以下三個：

1.采集禁用本地IP

設置后采集只用代理IP，如果代理IP失效或未開啟，則會采集失敗。

2.代理失敗使用本地IP

代理IP失效或者失敗后會直接使用本地IP進行采集。

3.只使用本地IP

設置后采集時僅用本地IP。

注意事項

①在采集過程中修改代理IP，需要暫停/停止采集然后再修改。

②當請求代理IP的api地址是變化的，比如鏈接地址中有時間戳的情況時，ForeSpider中代理IP暫不支持接入。

③當返回內容不帶密碼，但要求必須提供密碼時，可以使用腳本設置來接入。

④在不知道代理IP的請求數時，請求頻率最好填1，也可填寫1-10中任意數。

⑤請求到一批新的代理IP時，在有效期內的舊代理IP依然可以使用。

到此，關于“怎么在ForeSpider數據采集器中設置代理IP”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！