溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹如何爬取美團的店鋪評論數據，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！
店鋪評論數據
在重慶火鍋的文章中，我們一共爬取了每個店鋪基本信息與對應評價兩種數據，那么較為簡單的就是評論數據，我們進入一個店鋪的詳情頁，F12查找數據包就能輕松找到對應的評論數據
所以想拿下這一頁的評論只要將headers中一些參數加進去使用Requests.get請求即可，注意Cookie是必須要添加的
那么返回的json數據無論直接提取數據還是使用正則查找數據都不是困難的，提取之后使用Pandas保存即可，此處就不在贅述，如果需要爬取多頁評論怎么辦，先手動加載多頁評論發現URL中僅有offset參數變了，每頁增加10
所以只要寫個簡單的循環生成多頁URL就能拿下指定頁數的評論，OK這僅是一家店鋪的評論爬取辦法，那怎么獲得多家店鋪的評論呢？如果我們多找幾家店鋪的評論數據查看會發現，不同店鋪對應的Request URL其實變化的只有店鋪的ID
所以下面的問題就轉換為如何拿到多家店鋪的ID，而這些ID都在搜索頁面下的店鋪基本數據中。
店鋪基本數據
為了找到店鋪ID，讓我們回到搜索頁面中(美團首頁—美食—火鍋)
上面的頁面中就是重慶火鍋的第一頁，還是F12刷新很容易就能找到包含店鋪ID、均價等相關信息的數據包
所以也能輕松的獲取Request URL
修改對應的headers信息再使用requests請求即可，然后將店鋪基本信息存下來用于分析，再將ID單獨存儲用于組合評論頁URL
當然這只是第一頁的url的返回數據，只要修改其中的page參數就能生成多頁URL從而獲取多頁數據
以為這就結束了？并不是，評論頁的URL是不變的，但是這里的URL過幾分鐘就會變一下，也就是說如果你一次性生成10頁或更多的URL去循環請求很有可能在中間這個URL就掛掉了，所以你直接在瀏覽器中打開這個URL提示請求被拒絕，而不是顯示對應的json值，就說明URL換了，解決辦法只有在URL更換的時候重新手動獲取最新的URL并重新組合剩下需要爬取的頁面，有點蠢但是因為更換的部分并沒啥規律所以好像也沒什么更好的辦法......
以上是如何爬取美團的店鋪評論數據的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
