Python怎樣去爬取淘數據平臺商品數據

這篇文章給大家介紹Python怎樣去爬取淘數據平臺商品數據，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

前言

最近發現了一個不錯的數據網站，叫“淘數據”。里面的數據都是淘寶的商家數據，包含了店名、類目、標價、成交均價、銷量、銷售金額等

這個網站還是一位同學和我說才知道的，既然這樣，那就開始爬

項目目標

爬取淘寶假發專業數據，假發是我當時隨便選的，再想選別的，要收費了

受害者地址

https://www.taosj.com/industry/index.html#/data/hotitems/?cid=50023283&brand=&type=&pcid=

環境

Python3.6

pycharm

爬蟲代碼

導入所需工具

import requests
import csv

分析網頁，先F12打開開發者工具，復制你所需要的數據，找數據所在的標簽

找到所需要的URL和headers中的參數

url = 'https://www.taosj.com/data/industry/hotitems/list?cid=50023283&brand=&type=ALL&date=1596211200000&pageNo=1&pageSize=10&orderType=desc&orderField='.format(page)

headers = {
    'Host':'www.taosj.com',
    'Referer':'https://www.taosj.com/industry/index.html',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
}

response = requests.get(url=url, headers=headers)
html_data = response.json()

在json數據中提取相關數據

lis = html_data['data']['list']
for li in lis:
    tb_url = 'https://detail.tmall.com/item.htm?id={}'.format(li['id'])
    dit = {
        '標題': li['title'],
        '店鋪名稱': li['shop'],
        '類目': li['nextCatName'],
        '標價': li['oriPrice'],
        '成交均價': li['price'],
        '銷售量': li['offer30'],
        '銷售金額': li['price30'],
        '淘寶地址': tb_url,
    }

保存數據

f = open('淘數據.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['標題', '品牌', '店鋪名稱', '類目', '標價', '成交均價', '銷售量', '銷售金額', '淘寶地址'])
csv_writer.writeheader()
print(dit)

效果圖

完整代碼

import requests
import csv

f = open('淘數據.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['標題', '品牌', '店鋪名稱', '類目', '標價', '成交均價', '銷售量', '銷售金額', '淘寶地址'])
csv_writer.writeheader()

for page in range(1, 51):
    url = 'https://www.taosj.com/data/industry/hotitems/list?cid=50023282&brand=&type=ALL&date=1596211200000&pageNo={}&pageSize=10&orderType=desc&orderField=amount&searchKey='.format(page)
    """
    復制開發者工具中的requests headers 中的參數 記得加cookie
    """
    headers = {

        'Host': 'www.taosj.com',
        'Referer': 'https://www.taosj.com/industry/index.html',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
    }

    response = requests.get(url=url, headers=headers)
    html_data = response.json()

    lis = html_data['data']['list']
    for li in lis:
        tb_url = 'https://detail.tmall.com/item.htm?id={}'.format(li['id'])
        dit = {
            '標題': li['title'],
            '品牌': li['brand'],
            '店鋪名稱': li['shop'],
            '類目': li['nextCatName'],
            '標價': li['oriPrice'],
            '成交均價': li['price'],
            '銷售量': li['offer30'],
            '銷售金額': li['price30'],
            '淘寶地址': tb_url,
        }
        csv_writer.writerow(dit)
        print(dit)

關于Python怎樣去爬取淘數據平臺商品數據就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。