在Python 3中,要處理用戶代理,您可以使用requests
庫。首先,確保您已經安裝了requests
庫。如果沒有,請使用以下命令安裝:
pip install requests
接下來,您可以在發送請求時設置用戶代理。以下是一個示例代碼,展示了如何在請求中設置用戶代理:
import requests
url = 'https://www.example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
print(response.text)
在這個例子中,我們設置了一個常見的Chrome瀏覽器用戶代理。您可以根據需要替換為其他瀏覽器或設備用戶代理。這樣,當您的爬蟲訪問網站時,它會模擬一個正常的瀏覽器訪問,有時可以避免被網站的反爬蟲策略屏蔽。