您好,登錄后才能下訂單哦!
這篇文章給大家介紹如何使用Python抓取QQ音樂數據,內容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。
【一、項目目標】
獲取 QQ 音樂指定歌手單曲排行指定頁數的歌曲的歌名、專輯名、播放鏈接。
由淺入深,層層遞進,非常適合剛入門的同學練手。
【二、需要的庫】
主要涉及的庫有:requests、json、openpyxl
【三、項目實現】
1.了解 QQ 音樂網站的 robots 協議
只禁止播放列表,可以操作。
2.進入 QQ 音樂主頁 https://y.qq.com/
3.輸入任意歌手,比如鄧紫棋
4.打開審查元素(快捷鍵 Ctrl+Shift+I)
5.分析網頁源代碼 Elements,發現無歌曲信息,無法使用 BeautifulSoup,如下圖所示,結果為空。
6.點擊 Network,看數據在不在 XHR(無刷新更新頁
面),我的經驗是先看 Size 最大的,然后分析 Name,
查看 Preview,果然在里面!
7.點擊 Headers,拿到相關參數。如下圖,仔細觀察
url 與 Query String Parameters 參數的關系,發現
url 中的 w 代表歌手名,p 代表頁數。
8.通過 json 代碼實現,首先小試牛刀,爬取第一頁
的數據,url 直接復制過來。成功!
9.引入 params 參數,實現指定歌手、指定頁數的查詢。
注意代碼url為上一步url中“?”之前的部分, params兩邊的參數都需要加 ’’,requests.get 添加 params,參數(也可順便添加 headers 參數)
10. 添加存儲功能,保存到本地(Excel)。也可保存為 csv 格式或存入數據庫,操作類似。
1.爬取 QQ 音樂比爬取豆瓣等網站稍難,所需信息不在網頁源代碼,需查看 XHR;
2.通過 XHR 爬取數據一般要使用 json,格式為:
res = requests.get(url)json = res.json()list = json[‘’][‘’]…
3.僅供練手參考,不建議爬取太多數據,給服務器增大負載;
4.Python 爬取 QQ 音樂數據(二)將為大家帶來如何爬取指定歌曲的歌詞及評論(selenium),并生成詞云圖(wordcloud),敬請期待。
關于如何使用Python抓取QQ音樂數據就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。