要爬取搜索后的網頁，可以使用Python中的爬蟲庫（如Requests、BeautifulSoup、Scrapy等）來發送HTTP請求并解析網頁內容。
下面是一個使用Requests和BeautifulSoup來爬取搜索后的網頁的示例：
import requests
from bs4 import BeautifulSoup
# 設置請求頭
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 發送HTTP請求并獲取響應內容
def get_search_results(keyword):
url = 'https://www.example.com/search?q=' + keyword
response = requests.get(url, headers=headers)
return response.text
# 解析網頁內容，提取需要的信息
def parse_search_results(html):
soup = BeautifulSoup(html, 'html.parser')
results = soup.find_all('div', class_='result')
for result in results:
title = result.find('h3').text
link = result.find('a')['href']
print('Title:', title)
print('Link:', link)
print('---')
# 搜索關鍵詞并爬取搜索結果
keyword = 'Python'
html = get_search_results(keyword)
parse_search_results(html)
在代碼中，首先定義了一個get_search_results函數，用于發送HTTP請求并返回搜索結果的HTML內容。然后定義了一個parse_search_results函數，用于解析HTML內容，找到搜索結果中的標題和鏈接，并進行輸出。
最后，調用get_search_results函數傳入關鍵詞，獲取搜索結果的HTML內容，然后調用parse_search_results函數解析HTML內容，輸出搜索結果的標題和鏈接。
注意：在實際爬取過程中，應該遵守網站的爬取規則和法律法規，不要對目標網站造成過大的負擔，可以設置合適的請求頭、限制請求頻率等。
