Python如何爬取首都醫科大學文章

這篇文章主要講解了“Python如何爬取首都醫科大學文章”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Python如何爬取首都醫科大學文章”吧！

概述

爬蟲項目實踐
目標：首都醫科大學官網新發文章

步驟

1. 請求網址

2. 通過正則表達式提取數據

3. 分析數據

代碼

# 導入模塊
# 用于請求網址
import requests
# 用于解析網頁源代碼
from bs4 import BeautifulSoup
# 用于正則
import re

# 目標網址
# 設置頁數,提取10頁的數據
page=['']
for i in range(1,10,1):
    page.append(i)
# 保存文件
with open(r'ccmu.csv','a',encoding='utf-8') as f:
    for i in page:
        url= 'http://www.ccmu.edu.cn/zxkylw_12912/index'+str(i)+'.htm'
        # 必要時添加header請求頭，防止反爬攔截
        headers={
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0'
        }
        # 目標網址請求方式為get
        resp=requests.get(url)
        html = resp.content.decode('utf-8')
        # 解析html
        soup = BeautifulSoup(html,'html.parser')

        # 找到最近發表的sci論文
        # 使用find和find_all 函數
        infos=soup.find('ul',{'class':'list03'}).find_all('li')
        for info in infos:
            time=info.find('span').get_text()
            ajt= info.find('a').get_text()
            # 寫入文件
            f.write("{},{}\n".format(time,ajt))

感謝各位的閱讀，以上就是“Python如何爬取首都醫科大學文章”的內容了，經過本文的學習后，相信大家對Python如何爬取首都醫科大學文章這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！