溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
小編這次要給大家分享的是詳解python中urllib爬蟲模塊，文章內容豐富，感興趣的小伙伴可以來了解一下，希望大家閱讀完這篇文章之后能夠有所收獲。
前言
網絡爬蟲也稱為網絡蜘蛛、網絡機器人，抓取網絡的數據。其實就是用Python程序模仿人點擊瀏覽器并訪問網站，而且模仿的越逼真越好。一般爬取數據的目的主要是用來做數據分析，或者公司項目做數據測試，公司業務所需數據。
而數據來源可以來自于公司內部數據，第三方平臺購買的數據，還可以通過網絡爬蟲爬取數據。python在網絡爬蟲方向上有著成熟的請求、解析模塊，以及強大的Scrapy網絡爬蟲框架。
爬蟲分類
1、通用網絡爬蟲：搜索引擎使用，遵守robots協議（君子協議）
robots協議 ：網站通過robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
2、聚焦網絡爬蟲 ：自己寫的爬蟲程序
爬蟲爬取數據步驟
請求模塊
from urllib import request
request.urlopen() 向網站發起請求并獲取響應對象
參數：
URL：需要爬取的URL地址
timeout: 設置等待超時時間，指定時間內未得到響應拋出超時異常
響應對象（response）方法
from urllib import request
url = 'http://www.baidu.com/'
# 向百度發請求,得到響應對象
response = request.urlopen(url)
# 返回網頁源代碼
print(response.read().decode('utf-8'))
# 返回http響應碼
print(response.getcode()) # 200
# 返回實際數據URL地址
print(response.geturl()) # http://www.baidu.com/urllib.request.Request() 創建請求對象(包裝請求，重構User-Agent，使程序更像正常人類請求)
參數
URL：請求的URL地址
headers：添加請求頭（爬蟲和反爬蟲斗爭的第一步）
使用流程
1、創建請求對象(重構User-Agent)
req = urllib.request.Request(url=url,headers={'User-Agent':'Mozilla/5.0 xxxx'})
2、請求對象發起請求，獲取響應對象(urlopen)
res = urllib.request.urlopen(req)
3、通過相應對象獲取響應內容
html = res.read().decode('utf-8')
from urllib import request
url = 'http://httpbin.org/get'
headers = {'User-Agent':'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'}
# 創建請求對象(包裝請求)
req = request.Request(url=url,headers=headers)
# 發請求,獲取響應對象
res = request.urlopen(req)
# 讀取內容,返回網頁代碼
html = res.read().decode('utf-8')
print(html)URL地址編碼
urllib.parse.urlencode({dict})
URL地址中一個查詢參數
查詢參數：{'wd' : '美女'}
urlencode編碼后：'wd=%e7%be%8e%e5%a5%b3'
from urllib import parse
url = 'http://www.baidu.com/s?'
query_string = parse.urlencode({'wd':'美女'})
print(query_string) # wd=%E7%BE%8E%E5%A5%B3
url = url + query_string
# http://www.baidu.com/wd=%E7%BE%8E%E5%A5%B3URL地址中多個查詢參數
from urllib import parse
query_string_dict = {'wd' : '美女',
'pn' : '50'}
query_string = parse.urlencode(query_string_dict)
url = 'http://www.baidu.com/s?{}'.format(query_string)
print(url)
# http://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3&pn=50拼接URL地址的3種方式
1、字符串相加
'https://www.baidu.com/s?' + urlencode({'wd':'美女','pn':'50'})
2、字符串格式化（占位符）
'https://www.baidu.com/s?%s' % urlencode({'wd':'美女','pn':'50'})
3、format()方法
'https://www.baidu.com/s?{}'.format(urlencode({'wd':'美女','pn':'50'}))
示例 在百度中輸入要搜索的內容，把響應內容保存到本地文件
from urllib import request
from urllib import parse
# 定義常用變量
word = input('請輸入搜索內容:')
url = 'http://www.baidu.com/s?'
headers = {'User-Agent':'Mozilla/5.0'}
# url編碼,拼接完整URL
query_string = parse.urlencode({'wd':word})
url = url + query_string
# 三步走
req = request.Request(url=url,headers=headers)
res = request.urlopen(req)
html = res.read().decode('utf-8')
filename = '{}.html'.format(word)
with open(filename,'w',encoding='utf-8') as f:
f.write(html)urllib.parse.quote(string)編碼
from urllib import parse
parse.quote('美女') # %E7%BE%8E%E5%A5%B3urllib.parse.unquote(string)解碼
from urllib import parse
result = parse.unquote('%E7%BE%8E%E5%A5%B3')
print(result) # 美女百度貼吧網頁獲取
實現步驟
1、找URL規律
1、不同吧
2、不同頁
第1頁:http://tieba.baidu.com/f?kw=????&pn=0
第2頁:http://tieba.baidu.com/f?kw=????&pn=50
第n頁:pn=(n-1)*50
2、獲取網頁內容
3、保存(本地文件、數據庫)
from urllib import request,parse
import time
import random
class BaiduSpider(object):
def __init__(self):
self.url = 'http://tieba.baidu.com/f?kw={}&pn={}'
self.headers = {'User-Agent':'Mozilla/5.0'}
# 獲取響應
def get_page(self,url):
req = request.Request(url=url,headers=self.headers)
res = request.urlopen(req)
html = res.read().decode('utf-8')
return html
# 保存數據
def write_page(self,filename,html):
with open(filename,'w') as f:
f.write(html)
# 主函數
def main(self):
name = input('請輸入貼吧名:')
start = int(input('請輸入起始頁:'))
end = int(input('請輸入終止頁:'))
# 拼接URL地址,發請求
for page in range(start,end+1):
pn = (page-1)*50
kw = parse.quote(name) # url編碼
url = self.url.format(kw,pn)
html = self.get_page(url) # 獲取響應,并保存
filename = '{}-第{}頁.html'.format(name,page)
self.write_page(filename,html)
print('第{}頁爬取成功'.format(page)) # 提示進度
time.sleep(random.randint(1,3)) # 控制爬取速度
if __name__ == '__main__':
spider = BaiduSpider()
spider.main()看完這篇關于詳解python中urllib爬蟲模塊的文章，如果覺得文章內容寫得不錯的話，可以把它分享出去給更多人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
