91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

如何使用Python抓取QQ音樂數據

發布時間:2021-10-11 18:05:38 來源:億速云 閱讀:204 作者:柒染 欄目:大數據

這篇文章給大家介紹如何使用Python抓取QQ音樂數據,內容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。

【一、項目目標】

    獲取 QQ 音樂指定歌手單曲排行指定頁數的歌曲的歌名、專輯名、播放鏈接。

    由淺入深,層層遞進,非常適合剛入門的同學練手。

【二、需要的庫】

    主要涉及的庫有:requests、json、openpyxl

【三、項目實現】

1.了解 QQ 音樂網站的 robots 協議

如何使用Python抓取QQ音樂數據

只禁止播放列表,可以操作。

2.進入 QQ 音樂主頁 https://y.qq.com/

3.輸入任意歌手,比如鄧紫棋

如何使用Python抓取QQ音樂數據

4.打開審查元素(快捷鍵 Ctrl+Shift+I)

如何使用Python抓取QQ音樂數據

5.分析網頁源代碼 Elements,發現無歌曲信息,無法使用 BeautifulSoup,如下圖所示,結果為空。

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

6.點擊 Network,看數據在不在 XHR(無刷新更新頁

面),我的經驗是先看 Size 最大的,然后分析 Name,

查看 Preview,果然在里面!

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

7.點擊 Headers,拿到相關參數。如下圖,仔細觀察

url 與 Query String Parameters 參數的關系,發現

url 中的 w 代表歌手名,p 代表頁數。

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

8.通過 json 代碼實現,首先小試牛刀,爬取第一頁

的數據,url 直接復制過來。成功!

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

9.引入 params 參數,實現指定歌手、指定頁數的查詢。

注意代碼url為上一步url中“?”之前的部分, params兩邊的參數都需要加 ’’,requests.get 添加 params,參數(也可順便添加 headers 參數)

如何使用Python抓取QQ音樂數據

10. 添加存儲功能,保存到本地(Excel)。也可保存為 csv 格式或存入數據庫,操作類似。

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

1.爬取 QQ 音樂比爬取豆瓣等網站稍難,所需信息不在網頁源代碼,需查看 XHR;

2.通過 XHR 爬取數據一般要使用 json,格式為:

res = requests.get(url)json = res.json()list = json[‘’][‘’]…

3.僅供練手參考,不建議爬取太多數據,給服務器增大負載;

4.Python 爬取 QQ 音樂數據(二)將為大家帶來如何爬取指定歌曲的歌詞及評論(selenium),并生成詞云圖(wordcloud),敬請期待。



關于如何使用Python抓取QQ音樂數據就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

石屏县| 德令哈市| 保康县| 巴彦县| 大同县| 门源| 汪清县| 文成县| 揭阳市| 天长市| 新绛县| 商水县| 民乐县| 天全县| 阳原县| 铜梁县| 沁水县| 湘潭市| 孝昌县| 南溪县| 金阳县| 桃园县| 道真| 克什克腾旗| 盈江县| 文水县| 榆树市| 连江县| 调兵山市| 营口市| 西宁市| 思茅市| 西林县| 无锡市| 和龙市| 海兴县| 富顺县| 马鞍山市| 繁峙县| 梧州市| 廊坊市|