您好,登錄后才能下訂單哦!
寫爬蟲是一個發送請求,提取數據,清洗數據,存儲數據的過程。在這個過程中,不同的數據源返回的數據格式各不相同,有 JSON 格式,有 XML 文檔,不過大部分還是 HTML 文檔,HTML 經常會混雜有轉移字符,這些字符我們需要把它轉義成真正的字符。
什么是轉義字符
在 HTML 中 <、>、& 等字符有特殊含義(<,> 用于標簽中,& 用于轉義),他們不能在 HTML 代碼中直接使用,如果要在網頁中顯示這些符號,就需要使用 HTML 的轉義字符串(Escape Sequence),例如 < 的轉義字符是 <,瀏覽器渲染 HTML 頁面時,會自動把轉移字符串換成真實字符。
轉義字符(Escape Sequence)由三部分組成:第一部分是一個 & 符號,第二部分是實體(Entity)名字,第三部分是一個分號。 比如,要顯示小于號(<),就可以寫< 。
Python 反轉義字符串
用 Python 來處理轉義字符串有多種方式,而且 py2 和 py3 中處理方式不一樣,在 python2 中,反轉義串的模塊是 HTMLParser。
Python3 把 HTMLParser 模塊遷移到 html.parser
到 python3.4 之后的版本,在 html 模塊新增了 unescape 方法。
推薦最后一種寫法,因為 HTMLParser.unescape 方法在 Python3.4 就已經被廢棄掉不推薦使用,意味著之后的版本有可能會被徹底移除。
另外,sax 模塊也有支持反轉義的函數
當然,你完全可以實現自己的反轉義功能,不復雜,當然,我們崇尚不重復造輪子。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。