91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

scrapy導出文件時出現中文亂碼怎么辦

發布時間:2020-06-05 20:35:31 來源:億速云 閱讀:463 作者:Leah 欄目:編程語言

scrapy導出文件時出現中文亂碼怎么辦?相信很多沒有經驗的人對此束手無策,這篇文章總結了scrapy導出文件時出現中文亂碼的解決辦法,通過這篇文章希望你能解決這個問題。

背景:

使用scrapy crawl spidername -o filename.json命令執行爬蟲,并將item寫入文件,發現中文亂碼,比如這樣子:
scrapy導出文件時出現中文亂碼怎么辦

解決方法

第一種方法:

使用scrapy命令導出時指定編碼格式

scrapy crawl baidu -o baidu_med.json -s FEED_EXPORT_ENCODING=utf-8
第二種方法:

借助Pipeline將item寫入到文件
1.修改pipelines.py,添加:

import json
import codecs

class YiyaoPipeline(object):
    def __init__(self):
        self.file = codecs.open('item.json', 'wb', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + '\n'
        self.file.write(line)
        return item

2.修改settings.py,激活pipeline:

ITEM_PIPELINES = {
   'yiyao.pipelines.YiyaoPipeline': 300,
}

注意:settings.py默認有ITEM_PIPELINES配置,只是注銷掉了。
3.使用scrapy命令導出時,直接執行:

scrapy crawl baidu 

看完這篇文章,你能夠獨立解決scrapy導出文件時出現中文亂碼的問題了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

鸡泽县| 沙雅县| 邹平县| 洪江市| 阿鲁科尔沁旗| 抚州市| 酒泉市| 英超| 紫阳县| 平罗县| 丹巴县| 龙川县| 夏津县| 杭锦后旗| 溆浦县| 肥西县| 万全县| 叶城县| 依安县| 电白县| 普安县| 卢龙县| 尚志市| 东海县| 吉安县| 始兴县| 舞阳县| 偃师市| 江津市| 台前县| 新巴尔虎左旗| 日照市| 余干县| 大宁县| 沧源| 南江县| 湛江市| 文化| 麟游县| 乌兰浩特市| 特克斯县|