在Python中,網絡爬蟲是一種用于從網站上抓取數據的程序。為了實現網絡爬蟲,你需要使用一些庫和工具,如requests
和BeautifulSoup
。以下是一個簡單的網絡爬蟲示例,用于抓取網站上的標題和鏈接:
requests
和beautifulsoup4
庫。如果沒有,請使用以下命令安裝:pip install requests beautifulsoup4
web_scraper.py
的Python文件,并在其中編寫以下代碼:import requests
from bs4 import BeautifulSoup
def get_page(url):
response = requests.get(url)
if response.status_code == 200:
return response.text
else:
print(f"Error: Unable to fetch the page. Status code: {response.status_code}")
return None
def parse_page(html):
soup = BeautifulSoup(html, "html.parser")
titles = soup.find_all("h2") # 根據網頁結構選擇合適的標簽
links = soup.find_all("a")
for title, link in zip(titles, links):
print(f"Title: {title.get_text().strip()}")
print(f"Link: {link['href']}\n")
def main():
url = input("Enter the URL of the website you want to scrape: ")
html = get_page(url)
if html:
parse_page(html)
if __name__ == "__main__":
main()
web_scraper.py
文件,然后輸入要抓取的網站URL。程序將輸出頁面上的標題和鏈接。注意:這個示例僅適用于具有特定HTML結構的網站。你需要根據要抓取的網站的實際HTML結構來修改parse_page
函數中的代碼。此外,如果需要處理JavaScript渲染的頁面,可以考慮使用Selenium
或Scrapy
等工具。