python如何爬取豆瓣電影TOP250數據

這篇文章將為大家詳細講解有關python如何爬取豆瓣電影TOP250數據，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

在執行程序前，先在MySQL中創建一個數據庫"pachong"。

import pymysql
import requests
import re


#獲取資源并下載
def resp(listURL):
    #連接數據庫
    conn = pymysql.connect(
        host = '127.0.0.1',
        port = 3306,
        user = 'root',
        password = '******',  #數據庫密碼請根據自身實際密碼輸入
        database = 'pachong', 
        charset = 'utf8'
    )

    #創建數據庫游標
    cursor = conn.cursor()

    #創建列表t_movieTOP250（執行sql語句）
    cursor.execute('create table t_movieTOP250(id INT PRIMARY KEY 												auto_increment NOT NULL ,movieName VARCHAR(20) NOT NULL 									,pictrue_address VARCHAR(100))')

    try:
        # 爬取數據
        for urlPath in listURL:
            # 獲取網頁源代碼
            response = requests.get(urlPath)
            html = response.text

            # 正則表達式
            namePat = r'alt="(.*?)" src='
            imgPat = r'src="(.*?)" class='

            # 匹配正則（排名【用數據庫中id代替，自動生成及排序】、電影名、電影海報（圖片地址））
            res2 = re.compile(namePat)
            res3 = re.compile(imgPat)
            textList2 = res2.findall(html)
            textList3 = res3.findall(html)

            # 遍歷列表中元素,并將數據存入數據庫
            for i in range(len(textList3)):
                cursor.execute('insert into t_movieTOP250(movieName,pictrue_address) 									VALUES("%s","%s")' % (textList2[i],textList3[i]))

        #從游標中獲取結果
        cursor.fetchall()

        #提交結果
        conn.commit()
        print("結果已提交")

    except Exception as e:
        #數據回滾
        conn.rollback()
        print("數據已回滾")

    #關閉數據庫
    conn.close()

#top250所有網頁網址
def page(url):
    urlList = []
    for i in range(10):
        num = str(25*i)
        pagePat = r'?start=' + num + '&filter='
        urL = url+pagePat
        urlList.append(urL)
    return urlList


if __name__ == '__main__':
    url = r"https://movie.douban.com/top250"
    listURL = page(url)
    resp(listURL)

結果如下圖：

python是什么意思

Python是一種跨平臺的、具有解釋性、編譯性、互動性和面向對象的腳本語言，其最初的設計是用于編寫自動化腳本，隨著版本的不斷更新和新功能的添加，常用于用于開發獨立的項目和大型項目。

關于“python如何爬取豆瓣電影TOP250數據”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。