溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
今天小編給大家分享一下如何用python爬取某東評論的相關知識點，內容詳細，邏輯清晰，相信大部分人都還太了解這方面的知識，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來了解一下吧。
import requestsimport jsonimport osimport timeimport randomimport jiebafrom wordcloud import WordCloudfrom imageio import imreadcomment_file_path = 'jd_comments.txt'def get_spider_comments(page = 0):#爬取某東評論url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv7990&productId=1070129528&score=0&sortType=5&page=%s&pageSize=10&isShadowSku=0&rid=0&fold=1'%pageheaders = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36','referer':'https://item.jd.com/1070129528.html'}try:response = requests.get(url, headers = headers)except:print("something wrong!")#獲取json格式數據集comments_json = response.text[26:-2]#將json數據集轉為json對象comments_json_obj = json.loads(comments_json)#獲取comments里面的所有內容comments_all = comments_json_obj['comments']#獲取comments中評論content的內容for comment in comments_all:with open(comment_file_path,'a+' ,encoding='utf-8') as fin:fin.write(comment['content']+'\n')print(comment['content'])def batch_spider_comments():# 每次寫入數據之前先清空文件if os.path.exists(comment_file_path):os.remove(comment_file_path)for i in range(100):print('正在爬取'+str(i+1)+'頁數據。。。。')get_spider_comments(i)time.sleep(random.random()*5)def cut_word():with open(comment_file_path,encoding='utf-8')as file:comment_text = file.read()wordlist = jieba.lcut_for_search(comment_text)new_wordlist = ' '.join(wordlist)return new_wordlistdef create_word_cloud():mask = imread('ball.jpg')wordcloud = WordCloud(font_path='msyh.ttc',mask = mask).generate(cut_word())wordcloud.to_file('picture.png')if __name__ == '__main__':create_word_cloud()
以上就是“如何用python爬取某東評論”這篇文章的所有內容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會為大家更新不同的知識，如果還想學習更多的知識，請關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
