python如何爬取二手房的數據

這篇文章給大家分享的是有關python如何爬取二手房的數據的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

一、查找數據所在位置：

打開鏈家官網，進入二手房頁面，選取某個城市，可以看到該城市房源總數以及房源列表數據。

二、確定數據存放位置：

某些網站的數據是存放在html中，而有些卻api接口，甚至有些加密在js中，還好鏈家的房源數據是存放到html中：

三、獲取html數據：

通過requests請求頁面，獲取每頁的html數據

# 爬取的url,默認爬取的南京的鏈家房產信息
url = 'https://nj.***.com/ershoufang/pg{}/'.format(page)
# 請求url
resp = requests.get(url, headers=headers, timeout=10)

 代碼中的網站非真真實網址，不可直接運行！

四、解析html，提取有用數據：

通過BeautifulSoup解析html，并提取相應有用的數據

soup = BeautifulSoup(resp.content, 'lxml')
# 篩選全部的li標簽
sellListContent = soup.select('.sellListContent li.LOGCLICKDATA')
# 循環遍歷
for sell in sellListContent:
    # 標題
    title = sell.select('div.title a')[0].string
    # 先抓取全部的div信息，再針對每一條進行提取
    houseInfo = list(sell.select('div.houseInfo')[0].stripped_strings)
    # 樓盤名字
    loupan = houseInfo[0]
    # 對樓盤的信息進行分割
    info = houseInfo[0].split('|')
    # 房子類型
    house_type = info[1].strip()
    # 面積大小
    area = info[2].strip()
    # 房間朝向
    toward = info[3].strip()
    # 裝修類型
    renovation = info[4].strip()
    # 房屋地址
    positionInfo = ''.join(list(sell.select('div.positionInfo')[0].stripped_strings))
    # 房屋總價
    totalPrice = ''.join(list(sell.select('div.totalPrice')[0].stripped_strings))
    # 房屋單價
    unitPrice = list(sell.select('div.unitPrice')[0].stripped_strings)[0]

感謝各位的閱讀！關于“python如何爬取二手房的數據”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！