您好,登錄后才能下訂單哦!
這篇文章主要介紹了python爬蟲亂碼是文字方塊的解決方法,具有一定借鑒價值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
在跟一群小伙伴探討完亂碼的問題后,小編發現了各式各樣的獲取方法,當然亂碼的問題也是蜂擁而來,都讓小編覺得出錯比找數據不要太容易了。小編近期一直在收集大家的問題,不斷地更新整理后分享給大家,希望更多的小伙伴看到后都知道該如何去解決,今天就python爬蟲亂碼是文字方塊的解決辦法。
在解析網頁時,時常可以看到如下情景:
這種情況下,我們需要的僅僅是數字,則需要找到相應的字體對應規則。
首先,轉碼,將字符串轉為bytes類型:
然后,根據0~9各個字符的bytes類型編碼,建立對應詞典,示例中這個網站的網頁載入有點賤嘻嘻,弄了三套對應的轉換模式,現在也不知道是否每天還會更新,反正人肉分別將30個bytes類型編碼與字符串做對應,用數組或者字典皆可。
最后就可以根據內容來進行轉碼了。
上面說到這是有限的解決方案,原因在于,如果網站實行動態加密,那可能就要去看具體的js內容了,再就是有的可能是圖片,可能需要OCR來進行輔助。
在爬相應的網站的時候,友好起見,我使用了selenium+chromedriver,載入后,再刷新一次,效果更好,說的好像刷新一次以后,就不是機器人了一樣哈哈。
感謝你能夠認真閱讀完這篇文章,希望小編分享python爬蟲亂碼是文字方塊的解決方法內容對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,遇到問題就找億速云,詳細的解決方法等著你來學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。