python爬蟲框架中有哪些模塊

這篇文章主要介紹了python爬蟲框架中有哪些模塊，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

1、Python標準庫——urllib模塊

功能：打開URL和http協議之類

實例代碼：

#coding:utf-8
import urllib.request
import time
import platform
#清屏函數(無關緊要 可以不寫)
def clear():
 print(u"內容過多 3秒后清屏")
 time.sleep(3)
 OS = platform.system()
 if (OS == u'Windows'):
 os.system('cls')
 else:
 os.system('clear')
#訪問函數
def linkbaidu():
 url = ''
 try:
 response = urllib.request.urlopen(url,timeout=3)
 except urllib.URLError:
 print(u'網絡地址錯誤')
 exit()
 with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:
 response = urllib.request.urlopen(url,timeout=3)
 fp.write(response.read())
 print(u'獲取url信息，response.geturl()\n:%s'%response.getrul())
 print(u'獲取返回代碼，response.getcode()\n:%s' % response.getcode())
 print(u'獲取返回信息，response.info()\n:%s' % response.info())
 print(u"獲取的網頁信息經存與baidu.txt")
if __name__ =='main':
 linkbaidu()

2、Python標準庫–logging模塊

logging模塊能夠代替print函數的功能，將標準輸出到日志文件保存起來，利用loggin模塊可以部分替代debug

3、re模塊

正則表達式

4、sys模塊

系統相關模塊

實際應用：

sys.argv(返回一個列表，包含所有的命令行)

sys.exit(退出程序)

5、Scrapy框架

感謝你能夠認真閱讀完這篇文章，希望小編分享python爬蟲框架中有哪些模塊內容對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!