Python爬蟲抓取數據的過程通常包括以下步驟:
import requests
from bs4 import BeautifulSoup
url = 'https://example.com'
response = requests.get(url)
html_content = response.text
soup = BeautifulSoup(html_content, 'lxml')
table = soup.find('table')
rows = table.find_all('tr')
for row in rows:
columns = row.find_all('td')
data = [column.text for column in columns]
print(data)
with open('output.csv', 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['Column1', 'Column2', 'Column3'])
for row in data:
writer.writerow(row)
處理多個頁面和排序:如果你需要抓取多個頁面或對數據進行排序,可以在循環中添加邏輯來處理這些情況。
遵守robots.txt規則:在編寫爬蟲時,請確保遵守目標網站的robots.txt規則,以免違反法律法規或道德規范。
這只是一個簡單的Python爬蟲示例。實際上,你可能需要根據目標網站的結構和你的需求進行更復雜的操作。但是,這個示例應該為你提供了一個很好的起點。