維護網通代理服務器軟件庫的方法:1、維護代理質量,發起一個請求狀態碼,看是否為200,且入庫后也需要定時驗證;2、使用redis存儲有效代理ip,考慮header里的User-Agent、Referer和cookie限制,避免操作出現錯誤,導致存儲失敗。
具體內容如下:
1、維護代理質量
IP代理服務器軟件入庫前需要驗證,最簡單的方式就是發起一個請求狀態碼是否為200。入庫后也需要定時驗證,畢竟IP都有失效的時候。
2、軟件存儲
可以使用redis來存儲這些有效代理,數據結構最好是采用Set,不允許存儲相同的IP。有了IP代理服務器軟件池,就可以方便的使用了,但還得考慮到目標網站的一些策略,比如header里的限制:
(1)User-Agent
用戶代理,不同的瀏覽器有不同的User-Agent,可以收集一些常見的瀏覽器用戶代理,然后在發送請求的時候隨機調用。
(2)Referer
訪問的來源是哪個鏈接,做防圖片的盜鏈可以用它來處理,當然這個Referer也是可以偽造的。
(3)cookie
很多網站要登陸了才能操作,所以這個cookie信息很重要,沒有cookie很容易被識別為偽造請求,可以在本地通過Js,根據服務端返回的一些信息,本地區設置cookie,當然實際操作并不簡單,具體情況具體分析。