web開發中的反爬技術有哪些

本篇內容主要講解“web開發中的反爬技術有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“web開發中的反爬技術有哪些”吧!

1、user-agent

數據請求頭，最初級的反爬，只要在請求中模擬請求頭即可輕松飄過。

解決方法：可以自己設置一下user-agent，或者更好的是，可以從一系列的user-agent里隨機挑出一個符合標準的使用

2、驗證碼

驗證碼是最常用的反爬蟲措施，但簡單驗證碼通過機器學習自動識別，通常正確率能達到50%以上甚至更高。

復雜驗證碼通過提交到專門的打碼平臺進行人工打碼，依據驗證碼的復雜度，打碼工人平均每碼收1-2分錢，成本比較低。也同樣容易被繞過，使得數據容易被爬取。

3、封IP

這是最有效也最容易誤殺的方案。該策略建立在 IP 稀有的前提下，目前通過代理池購買，ADSL，或者撥號 VPS 等方式，可以低成本獲取數十萬的 IP 池，導致單純的封IP策略效果越來越差。

解決方法：

比較成熟的方式是：IP代理池

簡單的說，就是通過ip代理，從不同的ip進行訪問，這樣就不會被封掉ip了。可是ip代理的獲取本身就是一個很麻煩的事情，網上有免費和付費的，但是質量都層次不齊。如果是企業里需要的話，可以通過自己購買集群云服務來自建代理池。

4、滑塊驗證

滑塊驗證結合了機器學習技術，只需要滑動滑塊，而不用看那些復雜到有時人眼也無法分辨的字母。但由于部分廠商實現時校驗算法較為簡單，導致經常只需要相對簡單的模擬滑動操作就能繞過，從而使得數據被惡意爬取。類似案例：淘寶，阿里云，淘寶聯盟。

5、關聯請求上下文

反爬蟲可以通過 Token 或網絡請求上下文是否進行了完整流程的方式來判斷是否真人訪問。但對具有協議分析能力的技術人員來說進行全量模擬并沒有太大困難。類似案例：知乎，百度登錄過程。

6、JavaScript 參與運算

簡單的爬蟲無法進行 js 運算，如果部分中間結果需要 js 引擎對 js 進行解析和運算，那么就可以讓攻擊者無法簡單進行爬取。但爬蟲開發者依然可以通過自帶 js 引擎模塊或直接使用 phantomjs ，chrome等無端瀏覽器進行自動化解析。

解決方法：這里就要請出一個大殺器：”PhantomJS“PhantomJS是一個Python包，他可以在沒有圖形界面的情況下，完全模擬一個”瀏覽器“，js腳本驗證什么的再也不是問題了。

7、提高數據獲取成本

當面對的是職業選手時，只能通過提升對方人力成本來實現，比如代碼混淆、動態加密方案、假數據，混淆數據等方式，利用開發速度大于分析速度的優勢，來拖垮對方的意志。如果對方咬定不放松，那只能持續對抗，直到一方由于機器成本或人力成本放棄。典型案例：汽車之家字體替換，去哪兒網網隱藏在CSS元素坐標中。

到此，相信大家對“web開發中的反爬技術有哪些”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！