要用Python爬取網頁內的指定內容,可以使用第三方庫 requests 和 BeautifulSoup。以下是一個示例代碼,用于爬取指定網頁內的標題和正文內容:
import requests
from bs4 import BeautifulSoup
# 指定要爬取內容的網頁鏈接
url = 'https://example.com'
# 發起GET請求獲取網頁內容
response = requests.get(url)
# 使用BeautifulSoup解析網頁內容
soup = BeautifulSoup(response.text, 'html.parser')
# 獲取網頁標題
title = soup.title.text
print('網頁標題:', title)
# 獲取正文內容
content = soup.find('div', class_='content').text
print('正文內容:', content)
在上面的代碼中,我們首先指定要爬取內容的網頁鏈接,并使用 requests 庫發起 GET 請求來獲取網頁內容。然后使用 BeautifulSoup 庫解析網頁內容,根據網頁的HTML結構找到對應的標簽和類名來獲取標題和正文內容。最后打印出獲取到的標題和正文內容。
需要注意的是,要根據具體的網頁結構和內容來修改代碼中的選擇器,確保能正確地獲取到指定的內容。