如何使用Python爬蟲實現自動下載圖片

小編給大家分享一下如何使用Python爬蟲實現自動下載圖片，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

python的數據類型有哪些?

python的數據類型：1. 數字類型，包括int（整型）、long（長整型）和float（浮點型）。2.字符串，分別是str類型和unicode類型。3.布爾型，Python布爾類型也是用于邏輯運算，有兩個值：True（真）和False（假）。4.列表，列表是Python中使用最頻繁的數據類型，集合中可以放任何數據類型。5. 元組，元組用”()”標識，內部元素用逗號隔開。6. 字典，字典是一種鍵值對的集合。7. 集合，集合是一個無序的、不重復的數據組合。

python爬蟲支持模塊多、代碼簡潔、開發效率高 ，是我們進行網絡爬蟲可以選取的好工具。對于一個個的爬取下載，勢必會消耗我們大量的時間，使用Python爬蟲就可以解決這個問題，即可以實現自動下載。

一、自動下載圖片流程

1、總結網址規律，以便根據網址訪問網頁；

2、根據網址規律，循環爬取并返回網頁；

3、利用正則表達式提取并返回圖片。

二、使用Python爬蟲實現自動下載圖片步驟

1、導入相關包

import requests
import importlib
import urllib
import re
import os
import sys
importlib.reload(sys)

2、定義網頁訪問函數

cookie獲得方式：正常訪問此頁面，鼠標右鍵檢查或F12-在Network處查看自己的cookie，由于cookie很長且每個用戶的cookie不同，故代碼中將cookie省略了，讀者可查看自己瀏覽器的cookie，將其加入代碼中。

def askURL(url):
    head = {   
        "Accept": "image/webp,image/apng,image/*,*/*;q=0.8",
        "Accept-Language": "zh-CN,zh;q=0.9",
        "Connection": "keep-alive",
        "Cookie": " ",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/
        71.0.3578.98 Safari/537.36"
    }
    s = quote(url, safe=string.printable)    # 中文轉utf8字符，否則會報ascii錯
    print(s)
    request = urllib.request.Request(s, headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        print(html)
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    return html

3、提取圖片并返回

根據返回的html網頁可以看到，網頁中包含圖片的url共有四種類型，分別是objURL、middleURL、hoverURL和thumbURL，故利用正則表達式返回四種類型的鏈接并合并。

i = 1

def savePic(url):
    global i  # 
    html = askURL(url)
    pic_url = re.findall('"objURL":"(.*?)",', html, re.S)  # re.S表示讓換行符包含在字符中
    pic_url2 = re.findall('"middleURL":"(.*?)",', html, re.S)
    pic_url3 = re.findall('"hoverURL":"(.*?)",', html, re.S)
    pic_url4 = re.findall('"thumbURL":"(.*?)",', html, re.S)
    result = pic_url2 + pic_url + pic_url4 + pic_url3

    for item in result:
        print("已下載" + str(i) + "張圖片")
        # 定義異常控制
        try:
            pic = requests.get(item, timeout=5)
        except Exception:  
            print("當前圖片無法下載")
            continue 

        #  保存圖片
        string = 'D:/MyData/Python爬蟲/圖片/'+word+"/"+str(i)+".jpg"
        fp = open(string, 'wb')
        fp.write(pic.content)
        fp.close()
        i += 1

4、定義主函數

if __name__ == '__main__':  # 主程序
    word = input("請輸入想要下載的圖片:")

    #  根據搜索的關鍵字判斷存放該類別的文件夾是否存在,不存在則創建
    road = "D:/MyData/Python爬蟲/圖片下載器/" + word
    if not os.path.exists(road):
        os.mkdir(road)

    #  根據輸入的內容構建url列表，此處只訪問了四頁驗證效果
    urls = [
        'https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word='
        + word '.format(str(i)) for i in range(0, 40, 10)]

    for url in urls:
        print(url)
        downloadPic(url)

    print("下載完成!")

看完了這篇文章，相信你對“如何使用Python爬蟲實現自動下載圖片”有了一定的了解，如果想了解更多相關知識，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！