Python 字符串處理特殊空格\xc2\xa0\t\n Non-breaking space

今天遇到一個問題，使用python的find函數尋找字符串中的第一個空格時沒有找到正確的位置，例如：

http://zc.whmc.edu.cn ==> 無法訪問的網站或無效的招標網站

使用find(" ")函數尋找時找到的第一個空格對應在==>后面的那個位置。一開始覺得是編碼問題，但是文件是用UTF-8編碼的，按理說不應該產生編碼問題，就用Sublime打開一看是這樣的：

可以看到，我的Sublime設置了顯示空白，所以第二個紅線上方有一個白點，而第一個紅線上方卻沒有，這說明第一個紅線上方那個字符確實不是一個空格，也就是說函數的運行沒有問題。但那個空格倒底是個什么東西呢？在Sublime中File-->Reopen with Encoding-->Hexadecimal打開文件可以看到是這樣的：

在網上可以查到，==>對應的UTF-8編碼是\x3d\x3d\x3e，所以前面的那個神秘字符的編碼就是\xc2\xa0，上網查到這是一個叫做Non-breaking space的東西，用于阻止在此處自動換行和阻止多個空格被壓縮成一個。至于解決方法，先用subplace("\xc2\xa0", " ")把這個特殊的空格替換一下就行了。

去除特殊空格：\xc2\xa0

在去除空格的時候遇到一種情況：

a = '2 '
b = '3'
print a.split(),b

輸出結果：

['2\xc2\xa0'] 3

在網上可以查到，==>對應的UTF-8編碼是\x3d\x3d\x3e，所以前面的那個神秘字符的編碼就是\xc2\xa0，上網查到這是一個叫做Non-breaking space的東西，用于阻止在此處自動換行和阻止多個空格被壓縮成一個。至于解決方法，先用subplace("\xc2\xa0", " ")

a = '2 '
b = '3'
 
print a.replace("\xc2\xa0", ""),b

輸出結果：

python 爬蟲爬取內容時， \xa0 、 \u3000 的含義與處理方法

處理方法

str.replace(u'\xa0', u' ')

最近用 scrapy 爬某網站，發現拿到的內容里面含有 \xa0 、 \u3000 這樣的字符，起初還以為是編碼不對，搜了一下才知道是見識太少 233 。

\xa0 是不間斷空白符  

我們通常所用的空格是 \x20 ，是在標準ASCII可見字符 0x20~0x7e 范圍內。
而 \xa0 屬于 latin1 （ISO/IEC_8859-1）中的擴展字符集字符，代表空白符nbsp(non-breaking space)。
latin1 字符集向下兼容 ASCII （ 0x20~0x7e ）。通常我們見到的字符多數是 latin1 的，比如在 MySQL 數據庫中。

這里也有一張簡陋的Latin1字符集對照表。

\u3000 是全角的空白符

根據Unicode編碼標準及其基本多語言面的定義， \u3000 屬于CJK字符的CJK標點符號區塊內，是空白字符之一。它的名字是 Ideographic Space ，有人譯作表意字空格、象形字空格等。顧名思義，就是全角的 CJK 空格。它跟 nbsp 不一樣，是可以被換行間斷的。常用于制造縮進， wiki 還說用于抬頭，但沒見過。

這里還有一個 Unicode.org 上關于 CJK 標點符號塊的字符代碼表。

python中去掉字符串中的\xa0、\t、\n

今天幫女朋友從網絡上收集一些信息，但是發現提取出的信息中有“\xa0”，并且無法去掉，查閱了相關資料，后發現該字符表示空格。

\xa0 是不間斷空白符  
我們通常所用的空格是 \x20 ，是在標準ASCII可見字符 0x20~0x7e 范圍內。
而 \xa0 屬于 latin1 （ISO/IEC_8859-1）中的擴展字符集字符，代表空白符nbsp(non-breaking space)。
latin1 字符集向下兼容 ASCII （ 0x20~0x7e ）。通常我們見到的字符多數是 latin1 的，比如在 MySQL 數據庫中。
有如下信息：

'T-shirt\xa0\xa0短袖圓領衫,體恤衫\xa0,', 'V-neck\xa0\xa0V型領\xa0sleeve\xa0\xa0袖子\xa0,',

我們如何將其中的\xz0去掉呢，試了re模塊的sub方法，發現沒有作用，于是又開始查閱相關資料，終于解決了該問題。方法如下：

>>> inputstring = u'\n           Door:\xa0Novum     \t   '
>>> move = dict.fromkeys((ord(c) for c in u"\xa0\n\t"))
>>> output = inputstring.translate(move)
>>> output
'           Door:Novum 

另外還有一種更簡單的方法，利用split方法：

>>> s
'T-shirt\xa0\xa0短袖圓領衫,體恤衫\xa0'
>>> out = "".join(s.split())
>>> out
'T-shirt短袖圓領衫,體恤衫'

可以發現利用translate方法、split()可以完美解決，并且還可以替換\t \n字符，由此又學到了新知識！

關于ord函數：
ord()函數是chr()函數（對于8位的ASCII字符串）或unichr()函數（對于Unicode對象）的配對函數，它以一個字符（長度為1的字符串）作為參數，返回對應的ASCII數值，或者Unicode數值，如果所給的Unicode字符超出了你的Python定義范圍，則會引發一個TypeError的異常。

關于fromkeys方法：
dict中的fromkeys方法目的是創建一個只有key的字典，內部利用for循環，使三個字符的asii碼值成為可迭代對象（本來的整數是不可迭代的），分別對其迭代，存入字典。

關于translate方法：
Python translate() 方法根據參數table給出的表(包含 256 個字符)轉換字符串的字符, 要過濾掉的字符放到 del 參數中。接收到move返回的表（字典），之后對字符串進行替換。

join()方法：
join()： 連接字符串數組。將字符串、元組、列表中的元素以指定的字符(分隔符)連接生成一個新的字符串。可見該處用join方法真的是神來之筆，可謂絕妙！

值得注意的是，split方法中不帶參數時，表示分割所有換行符、制表符、空格。

python2 可以這樣

s=s.replace(unichr(0xa0),'')

到此這篇關于Python 字符串處理特殊空格\xc2\xa0 Non-breaking space的文章就介紹到這了,更多相關Python 特殊空格內容請搜索億速云以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持億速云！