您好,登錄后才能下訂單哦!
這篇文章給大家介紹Python中怎么抓取抖音app熱點數據,內容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。
首先我們要安裝charles抓包APP數據,它是一款收費的抓包修改工具,易上手,數據請求容易控制,修改簡單,抓取數據的開始暫停方便等優勢,網上也有漢化版,下載地址為http://www.zdfans.com/html/42074.html,一路默認安裝就ok了。
安裝完成后要設置代理,依次點擊代理——代理設置。
然后在手機端設置代理,如下圖所示:
在保證手機和電腦在同一局域網的情況下,代理服務器主機名設為電腦的ip地址,端口設為8888。
最后在電腦端和手機端分別安裝證書。
電腦端安裝方法:依次點擊幫助——ssl代理——安裝charles root證書 ,按下圖進行安裝。
手機端安裝方式:幫助——ssl代理——在移動設備或遠程瀏覽器上安裝charles root證書。
再在模擬器瀏覽器中輸入chls.pro/ssl,會自動下載手機端證書
最后再手機端依次點擊設置——安全——從SD卡安裝。
為證書命名,點擊確認就安裝成功了。
打開charles,然后打開抖音app的熱點榜界面,在charles很容易就找到了數據接口,一次就返回了50條數據,如下圖所示。
它的url信息如下圖所示。
此接口只能返回這一時刻的熱點數據,要想返回新的數據,就要變換參數信息,但是App端的數據接口參數都比較復雜,這里我們不再深入分析。
為了解決這一問題,我們可以用appium定時模擬操控手機,然后用mitmproxy把數據攔截下來(關于appium、mitmproxy的簡介與安裝網上有很多教程,這里不再贅述)
Appium腳本如下圖所示:
這個自動化測試腳本比較簡單,主要是重復獲取熱點最新信息。
Mitmproxy腳本如圖:
有4點需要注意的地方:
1.用mitmproxy抓包前,先把手機代理ip端口設置為8080,設置方法同上;
2.要想在此腳本運行外置函數,必須加上前兩行,要不然會出錯;
3.腳本中if url in flow.request.url為數據流判斷條件,如果url在該數據流的url請求數據中,則判斷該數據為抖音app熱點數據;
4.最后在腳本所在路徑運行以下程序:
關于Python中怎么抓取抖音app熱點數據就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。