要編寫Python網絡爬蟲,您可以使用一些流行的庫,如Requests和BeautifulSoup。以下是一個簡單的網絡爬蟲示例,用于抓取網站上的標題和鏈接:
首先,確保您已經安裝了所需的庫。在命令行中運行以下命令來安裝它們:
pip install requests beautifulsoup4
接下來,創建一個名為simple_crawler.py
的文件,并在其中編寫以下代碼:
import requests
from bs4 import BeautifulSoup
def get_page(url):
response = requests.get(url)
if response.status_code == 200:
return response.text
else:
print(f"Error: Unable to fetch the page. Status code: {response.status_code}")
return None
def parse_page(html):
soup = BeautifulSoup(html, "html.parser")
titles = soup.find_all("h2") # 根據網站中標題的標簽進行修改
links = soup.find_all("a")
for title, link in zip(titles, links):
print(title.get_text(), link["href"])
def main():
url = input("Enter the URL of the website you want to crawl: ")
html = get_page(url)
if html:
parse_page(html)
if __name__ == "__main__":
main()
這個簡單的網絡爬蟲首先從用戶那里獲取要抓取的網站URL,然后使用Requests庫獲取頁面的HTML內容。接下來,它使用BeautifulSoup解析HTML,并提取所有<h2>
標簽的文本(這通常是標題)和所有<a>
標簽的href屬性(這通常是鏈接)。最后,它打印出提取到的標題和鏈接。
請注意,這個示例僅適用于具有特定HTML結構的網站。要使其適用于其他網站,您需要根據目標網站的HTML結構修改parse_page
函數中的代碼。您可以使用瀏覽器的開發者工具(按F12打開)來檢查頁面元素并找到正確的標簽和屬性。