Python爬蟲怎么爬取KFC地址

這篇文章將為大家詳細講解有關Python爬蟲怎么爬取KFC地址，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

python主要應用領域有哪些

1、云計算，典型應用OpenStack。2、WEB前端開發，眾多大型網站均為Python開發。3.人工智能應用，基于大數據分析和深度學習而發展出來的人工智能本質上已經無法離開python。4、系統運維工程項目，自動化運維的標配就是python+Django/flask。5、金融理財分析，量化交易，金融分析。6、大數據分析。

隨著人們生活水平的提高，肯德基這類的快餐消費的十分火爆，成為小朋友和年輕人的最愛，我們到一個地方想要找到肯德基店面，會根據導航獲取肯德基地址，那你知道我們也可以使用python爬蟲獲取KFC地址嗎？我們可以使用python爬蟲的requests模塊模擬瀏覽器發送請求對肯德基官網的數據進行爬取。

爬蟲目標：使用requests模塊對肯德基官網的數據進行爬取。

requests模塊作用：requests模塊是python一款原生的基于網絡請求的模塊，我們用來模擬瀏覽器發送請求。

1、導入requests模塊

# 調用requests模塊
import requests

if __name__ == '__main__':

2、獲取要請求的url并發起請求

requests模塊請求功能來代替我們用戶在網頁上的鼠標點擊操作，即使不用瀏覽器也能完成訪問。

    # 獲取要請求的url
    post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    
    kw = input('請輸入城市名: ')
   
    data = {
        'cname': '',
        'pid': '',
        'keyword': kw,
        'pageIndex': '1',
        'pageSize': '10'
    }
   
    # UA偽裝
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
        Chrome/87.0.4280.141 Safari/537.36'
    }

3、獲取響應數據并儲存數據

發起了請求，服務器自然會給回應，從服務器返回的數據中可以篩選出我們所希望得到的數據。

    #  獲得請求返回數據并保存
    dict_text = response.text
    
    #雖然返回的是txt格式,但是這里保存成json格式,就可以使用自動調整格式了,更方便查看
    filename = kw+'市kfc分布.json'
    fp = open(filename,'w',encoding='utf-8')
    fp.write(dict_text)
   
    print('爬取成功~')

關于“Python爬蟲怎么爬取KFC地址”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。