溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本人是python3.6
總的來說，scrapy框架中設置cookie有三種方式。
第一種：setting文件中設置cookie
當COOKIES_ENABLED是注釋的時候scrapy默認沒有開啟cookie
當COOKIES_ENABLED沒有注釋設置為False的時候scrapy默認使用了settings里面的cookie
當COOKIES_ENABLED設置為True的時候scrapy就會把settings的cookie關掉，使用自定義cookie
所以當我使用settings的cookie的時候，又把COOKIES_ENABLED設置為True，scrapy就會把settings的cookie關閉，
而且我也沒使用自定義cookie，導致整個請求根本沒有cookie,導致獲取頁面失敗。
總結：
如果使用自定義cookie就把COOKIES_ENABLED設置為True
如果使用settings的cookie就把COOKIES_ENABLED設置為False
第二種：middlewares中設置cookie
在middlewares中的downloadermiddleware中的process_request中配置cookie，配置如下：
request.cookies={
'':'',
'':'',
}
等等。里面的cookie內容要以鍵值對的形式存在。
第三種：在spider爬蟲主文件中，重寫start_request方法，在scrapy的Request函數的參數中傳遞cookies
# 重載start_requests方法
def start_requests(self):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0"}
# 指定cookies
cookies = {
'uuid': '66a0f5e7546b4e068497.1542881406.1.0.0',
'_lxsdk_cuid': '1673ae5bfd3c8-0ab24c91d32ccc8-143d7240-144000-1673ae5bfd4c8',
'__mta': '222746148.1542881402495.1542881402495.1542881402495.1',
'ci': '20',
'rvct': '20%2C92%2C282%2C281%2C1',
'_lx_utm': 'utm_source%3DBaidu%26utm_medium%3Dorganic',
'_lxsdk_s': '1674f401e2a-d02-c7d-438%7C%7C35'}
# 再次請求到詳情頁，并且聲明回調函數callback，dont_filter=True 不進行域名過濾，meta給回調函數傳遞數據
yield Request(detailUrl, headers=headers, cookies=cookies, callback=self.detail_parse, meta={'myItem': item}, dont_filter=True)
同時還要在setting中設置：
ROBOTSTXT_OBEY=False
到此這篇關于scrapy中如何設置應用cookies的方法(3種)的文章就介紹到這了,更多相關scrapy設置cookies內容請搜索億速云以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持億速云！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
