溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本文實例講述了Python HTML解析模塊HTMLParser用法。分享給大家供大家參考，具體如下：
簡介
先簡略介紹一下。實際上，HTMLParser是python用來解析HTML的內置模塊。它可以分析出HTML里面的標簽、數據等等，是一種處理HTML的簡便途徑。HTMLParser采用的是一種事件驅動的模式，當HTMLParser找到一個特定的標記時，它會去調用一個用戶定義的函數，以此來通知程序處理。它主要的用戶回調函數的命名都是以"handle_"開頭的，都是HTMLParser的成員函數。當我們使用時，就從HTMLParser派生出新的類，然后重新定義這幾個以"handle_"開頭的函數即可。這幾個函數包括：
（1）handle_startendtag 處理開始標簽和結束標簽（即單標簽）
（2）handle_starttag 處理開始標簽，比如<xx>
（3）handle_endtag 處理結束標簽，比如</xx>
（4）handle_charref 處理特殊字符串，就是以&#開頭的，一般是內碼表示的字符
（5）handle_entityref 處理一些特殊字符，以&開頭的，比如
（6）handle_data 處理數據，就是<xx>data</xx>中間的那些數據
（7）handle_comment 處理注釋
（8）handle_decl 處理<!開頭的，比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
（9）handle_pi 處理形如<?instruction>的東西
實例
OK，廢話少說，直接上手，來一個簡單的爬蟲實例——抓取貼吧圖片。
from html.parser import HTMLParser
from urllib import request
class MyHTMLParser(HTMLParser): # 創建HTML解析類
def __init__(self):
HTMLParser.__init__(self)
self.gifs_urls = [] # 創建列表，保存gif
self.jpgs_urls = [] # 創建列表，保存jpg
# 重寫HTMLParser中的內置方法
def handle_starttag(self, tags, attrs): # 處理起始標記
if tags == 'img': # 處理圖片
for attr in attrs:
for t in attr:
if 'gif' in t and 'https' in t:
self.gifs_urls.append(t) # 添加到gif列表
elif 'jpg' in t and 'https' in t:
self.jpgs_urls.append(t) # 添加到jpg列表
else:
pass
# 自定義的方法
def get_gifs(self): # 返回gif列表
return self.gifs_urls
def get_jpgs(self): # 返回jpg列表
return self.jpgs_urls
# 自定義的方法，獲取頁面
def getHTML(self,url):
req=request.Request(url,method='GET')
html=request.urlopen(req,timeout=30)
return html.read()
# 自定義的方法，批量下載圖片
def downImgs(self,img_urls,n=10,path='Image/'):
count=1
for url in img_urls:
request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))
count=count+1
if count == n + 1:
print('共下載%d張圖片' %(n))
return
if __name__ == '__main__':
Url = 'http://tieba.baidu.com/p/2256306796'
HtmlParser=MyHTMLParser()
Html=HtmlParser.getHTML(Url)
# print(Html)
HtmlParser.feed(str(Html)) #開始解析HTML，自動調用HTMLParser中的內置方法
HtmlParser.downImgs(HtmlParser.get_jpgs())
更多關于Python相關內容可查看本站專題：《Python Socket編程技巧總結》、《Python正則表達式用法總結》、《Python數據結構與算法教程》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
