python獲取快手視頻的方法

這篇文章主要介紹python獲取快手視頻的方法，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

首先，打開fiddler，fiddler作為http/https 抓包神器，這里就不多介紹。

配置允許https

配置允許遠程連接也就是打開http代理

電腦ip: 192.168.1.110

然后確保手機和電腦是在一個局域網下，可以通信。由于我這邊沒有安卓手機，就用了安卓模擬器代替，效果一樣的。

打開手機瀏覽器，輸入192.168.1.110:8888也就是設置的代理地址，安裝證書之后才能抓包

安裝證書之后，在WiFi設置修改網絡手動指定http代理

保存后就可以了，fiddler就可以抓到app的數據了，打開快手刷新，可以看到有很多http請求進來，一般接口地址之類的很明顯的，可以看到是json類型的

http post請求，返回數據是json ，展開后發現一共是20條視頻信息，先確保是否正確，找一個視頻鏈接看下。

那就打開postman來測試，form-data方式提交則報錯

換raw這種

報錯信息不一樣了，試試加上headers

成功返回數據，多試幾次，發現每次返回結果不一樣。

下面就開始上代碼

# -*-coding:utf-8-*-
# author : Corleone
import urllib2,urllib
import json,os,re,socket,time,sys
import Queue
import threading
import logging
# 日志模塊
logger = logging.getLogger("AppName")
formatter = logging.Formatter('%(asctime)s %(levelname)-5s: %(message)s')
console_handler = logging.StreamHandler(sys.stdout)
console_handler.formatter = formatter
logger.addHandler(console_handler)
logger.setLevel(logging.INFO)
video_q = Queue.Queue()    # 視頻隊列
def get_video():
    url = "http://101.251.217.210/rest/n/feed/hot?app=0&lon=121.372027&c=BOYA_BAIDU_PINZHUAN&sys=ANDROID_4.1.2&mod=HUAWEI(HUAWEI%20C8813Q)&did=ANDROID_e0e0ef947bbbc243&ver=5.4&net=WIFI&country_code=cn&iuid=&appver=5.4.7.5559&max_memory=128&oc=BOYA_BAIDU_PINZHUAN&ftt=&ud=0&language=zh-cn&lat=31.319303 "
    data = {
        'type': 7,
        'page': 2,
        'coldStart': 'false',
        'count': 20,
        'pv': 'false',
        'id': 5,
        'refreshTimes': 4,
        'pcursor': 1,
        'os': 'android',
        'client_key': '3c2cd3f3',
        'sig': '22769f2f5c0045381203fc57d1b5ad9b'
    }
    req = urllib2.Request(url)
    req.add_header("User-Agent", "kwai-android")
    req.add_header("Content-Type", "application/x-www-form-urlencoded")
    params = urllib.urlencode(data)
    try:
        html = urllib2.urlopen(req, params).read()
    except urllib2.URLError:
        logger.warning(u"網絡不穩定 正在重試訪問")
        html = urllib2.urlopen(req, params).read()
    result = json.loads(html)
    reg = re.compile(u"[\u4e00-\u9fa5]+")   # 只匹配中文
    for x in result['feeds']:
        try:
            title = x['caption'].replace("\n","")
            name = " ".join(reg.findall(title))
            video_q.put([name, x['photo_id'], x['main_mv_urls'][0]['url']])
        except KeyError:
            pass
def download(video_q):
    path = u"D:\快手"
    while True:
        data = video_q.get()
        name = data[0].replace("\n","")
        id = data[1]
        url = data[2]
        file = os.path.join(path, name + ".mp4")
        logger.info(u"正在下載：%s" %name)
        try:
            urllib.urlretrieve(url,file)
        except IOError:
            file = os.path.join(path, u"神經病呀"+ '%s.mp4') %id
            try:
                urllib.urlretrieve(url, file)
            except (socket.error,urllib.ContentTooShortError):
                logger.warning(u"請求被斷開，休眠2秒")
                time.sleep(2)
                urllib.urlretrieve(url, file)
        logger.info(u"下載完成：%s" % name)
        video_q.task_done()
def main():
    # 使用幫助
    try:
        threads = int(sys.argv[1])
    except (IndexError, ValueError):
        print u"\n用法: " + sys.argv[0] + u" [線程數:10] \n"
        print u"例如：" + sys.argv[0] + " 10" + u"  爬取視頻 開啟10個線程 每天爬取一次 一次2000個視頻左右(空格隔開)"
        return False
    # 判斷目錄
    if os.path.exists(u'D:\快手') == False:
        os.makedirs(u'D:\快手')
    # 解析網頁
    logger.info(u"正在爬取網頁")
    for x in range(1,100):
        logger.info(u"第 %s 次請求" % x)
        get_video()
    num = video_q.qsize()
    logger.info(u"共 %s 視頻" %num)
    # 多線程下載
    for y in range(threads):
        t = threading.Thread(target=download,args=(video_q,))
        t.setDaemon(True)
        t.start()
    video_q.join()
    logger.info(u"-----------全部已經爬取完成---------------")
main()

測試

多線程下載每次下載2000個視頻左右，默認下載到D:\快手

以上是python獲取快手視頻的方法的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！