在Python中進行網頁爬取后，通常需要對獲取到的數據進行清洗，以確保數據的準確性和可用性。以下是一些常見的數據清洗步驟和技巧：
使用BeautifulSoup或lxml庫可以方便地去除HTML標簽。
from bs4 import BeautifulSoup
html = """
<html>
<head><title>Example Page</title></head>
<body>
<h1>Welcome to Example Page</h1>
<p class="content">This is an example paragraph.</p>
</body>
</html>
"""
soup = BeautifulSoup(html, 'html.parser')
text = soup.get_text()
print(text)
使用正則表達式可以去除特殊字符和多余的空格。
import re
text = "This is an example paragraph. \n\t\r"
cleaned_text = re.sub(r'\s+', ' ', text).strip()
print(cleaned_text)
如果數據是以某種分隔符分隔的，可以使用split方法進行分割。
text = "apple,banana,orange"
fruits = text.split(',')
print(fruits)
使用列表推導式或filter函數可以去除空值。
data = ["apple", "", "banana", None, "orange"]
filtered_data = [item for item in data if item]
print(filtered_data)
將字符串轉換為合適的數據類型，如整數、浮點數等。
data = ["1", "2.5", "three"]
numbers = [float(item) if item.isdigit() else None for item in data]
print(numbers)
使用正則表達式可以提取特定的數據。
import re
text = "The price of the item is $10.99."
price = re.search(r'\$(\d+\.\d{2})', text).group(1)
print(price)
將數據轉換為統一的格式，如統一大小寫、去除多余符號等。
data = ["Apple", "banana", " ORANGE "]
normalized_data = [item.strip().title() for item in data]
print(normalized_data)
pandas庫提供了強大的數據清洗功能。
import pandas as pd
data = {
"Name": ["John", " Jane ", "Doe"],
"Age": ["25", "30", None],
"City": ["New York", "Los Angeles", "Chicago"]
}
df = pd.DataFrame(data)
# 去除空值
df = df.dropna()
# 轉換數據類型
df['Age'] = df['Age'].astype(int)
print(df)
numpy庫可以進行高效的數值計算和數組操作。
import numpy as np
data = np.array(["1", "2.5", "three"])
numeric_data = np.array([float(item) if item.isdigit() else np.nan for item in data])
print(numeric_data)
通過這些步驟和技巧，可以有效地清洗爬取到的數據，確保其質量和可用性。
