Python如何爬取鏈家網二手房數據

小編給大家分享一下Python如何爬取鏈家網二手房數據，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

前言

本文的文字及圖片來源于網絡,僅供學習、交流使用

項目目標

爬取鏈家網二手房信息

地址

https://cs.lianjia.com/ershoufang/pg%7B%7D/

基本環境配置

• python 3.6

• pycharm

代碼

導入工具

import requests
import parsel
import time

請求網頁，爬取數據

for page in range(1, 101):
    print('===========================正在下載第{}頁數據================================'.format(page))
    time.sleep(1)
    url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(page)
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }

    response = requests.get(url=url, headers=headers)
    selector = parsel.Selector(response.text)
    lis = selector.css('.sellListContent li')
    dit = {}
    for li in lis:
        title = li.css('.title a::text').get()
        dit['標題'] = title
        positionInfo = li.css('.positionInfo a::text').getall()
        info = '-'.join(positionInfo)
        dit['開發商'] = info
        houseInfo = li.css('.houseInfo::text').get()
        dit['房子信息'] = houseInfo
        followInfo = li.css('.followInfo::text').get()
        dit['發布周期'] = followInfo
        Price = li.css('.totalPrice span::text').get()
        dit['售價/萬'] = Price
        unitPrice = li.css('.unitPrice span::text').get()
        dit['單價'] = unitPrice
        csv_writer.writerow(dit)
        print(dit)

保存數據

import csv

f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['標題', '開發商', '房子信息', '發布周期', '售價/萬', '單價'])
csv_writer.writeheader()

運行代碼，效果如下

以上是“Python如何爬取鏈家網二手房數據”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！