您好,登錄后才能下訂單哦!
這篇文章主要介紹python爬蟲中如何獲取數據,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
1、爬取數據,實際上就是根據一個網址向服務器發起網絡請求。
獲取服務器返回的數據。
2、解析數據,將服務器返回的數據轉換成易于理解的樣式。
3、過濾資料,從大量資料中篩選出所需資料。
4、儲存資料。
實例
from urllib.request import Request from urllib.request import urlopen # 爬取百度首頁 url1 = 'http://www.baidu.com' # 用一個變量保存 request = Request(url=url1) response = urlopen(request) # print(response.read().decode('utf-8')) # 獲取的數據是源代碼要用decode進行解碼操作 html_string = response.read().decode('utf-8') with open('baidu.html', 'w', encoding='utf-8') as fp: fp.write(html_string)
以上是“python爬蟲中如何獲取數據”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。