溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
今天就跟大家聊聊有關基于Python爬蟲實現爬取美團酒店信息，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。
一、分析網頁
網站的頁面是 JavaScript 渲染而成的，我們所看到的內容都是網頁加載后又執行了JavaScript代碼之后才呈現出來的，因此這些數據并不存在于原始 HTML 代碼中，而 requests 僅僅抓取的是原始 HTML 代碼。抓取這種類型網站的頁面數據，解決方案如下：
分析 Ajax，很多數據可能是經過 Ajax 請求時候獲取的，所以可以分析其接口。
在XHR里可以找到，Request URL有幾個關鍵參數，uuid和cityId是城市標識，offset偏移量可以控制翻頁，分析網頁發現，第x頁的offset為：(x-1)*20，limit表示每頁有20條信息，startDay和endDay為當前的日期。
在Preview里可以找到每頁的20條信息
模擬JavaScript渲染過程，直接抓取渲染后的結果。
selenium和pyppeteer爬蟲就是用的這種方法
二、爬取酒店信息
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
url = "https://ihotel.meituan.com/hbsearch/HotelSearch"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36",
"Referer": "https://hotel.meituan.com/chengdu"
}
wb = openpyxl.Workbook()
sheet = wb.active
sheet.append(['酒店名稱', '酒店地址', '酒店類型', '最低價', '評價', '評論數', '經度', '緯度'])
def hotel_data(x):
data = {
'utm_medium': 'pc',
'version_name': 999.9,
'cateId': 20,
'attr_28': 129,
'uuid': '5D4E443EC83DDD49B73F317921EAE16C7B492A634A67FA261773890F730A5932@1600263777783',
'cityId': 59,
'offset': x * 20,
'limit': 20,
'startDay': 20200916,
'endDay': 20200916,
'q': '', 'sort': 'defaults',
'X-FOR-WITH': '47zbBAV+k1e7QrnKt4lEVXrmtOE9w2OpFfGsKf539CDdXIw4r2V/qICcWVeNACGHWNbD6iL4huPyRVdkNJJwR6dqcoQMyzjUE3cQGWr6YZOwANQOlCSrZ7m1+aahwcnh/dTfaJLMZfxWaJQEISBuKbiMgDC8Vr4eaeWiYASkLl0ByB96MOUz7gfjUTbhlV0ZXvZ/ucwNcK3zxTQjmoBINsAY4HwpKQLpOV2IqV1CtPg=',
}
res = requests.get(url, headers=headers, params=data)
time.sleep(random.randint(1, 3))
results = json.loads(res.text)['data']['searchresult']
for con in results:
name = con['name'] # 酒店名稱
addr = con['addr'] # 酒店地址
star = con['hotelStar'] # 酒店類型
price = con['lowestPrice'] # 最低價
scoreIntro = con['scoreIntro'] # 評價
comments = con['commentsCountDesc'] # 評論數
lng, lat = con['lng'], con['lat'] # 經緯度
data = [name, addr, star, price, scoreIntro, comments, lng, lat]
sheet.append(data)
logging.info(data)程序運行成功，酒店信息保存到了Excel。
看完上述內容，你們對基于Python爬蟲實現爬取美團酒店信息有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
