您好,登錄后才能下訂單哦!
python數據爬下來保存在什么地方?相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。
python數據爬下來保存在本地,一般是文件或數據庫中,但是文件形式相比要更加簡單,如果只是自己寫爬蟲玩,可以用文件形式來保存數據。
#coding=utf-8 import urllib.request import re import os ''' Urllib 模塊提供了讀取web頁面數據的接口,我們可以像讀取本地文件一樣讀取www和ftp上的數據 urlopen 方法用來打開一個url read方法 用于讀取Url上的數據 ''' def getHtml(url): page = urllib.request.urlopen(url); html = page.read(); return html; def getImg(html): imglist = re.findall('img src="(http.*?)"',html return imglist html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8"); imagesUrl = getImg(html); if os.path.exists("D:/imags") == False: os.mkdir("D:/imags"); count = 0; for url in imagesUrl: print(url) if(url.find('.') != -1): name = url[url.find('.',len(url) - 5):]; bytes = urllib.request.urlopen(url); f = open("D:/imags/"+str(count)+name, 'wb'); f.write(bytes.read()); f.flush(); f.close(); count+=1
經測試,基本功能還是可以實現的。花的較多的時間就是正則匹配哪里,因為自己對正則表達式也不是非常熟悉。所以還是花了點時間。
看完上述內容,你們掌握python數據爬下來保存在什么地方的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。