溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
小編給大家分享一下scrapy框架怎么運行python爬蟲并下載數據，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
在項目文件夾內打開cmd運行下列命令：
scrapy crawl douban_top250 -o douban.csv
注意此處的douban_movie_top250即為我們剛剛寫的爬蟲的name, 而-o douban.csv是scrapy提供的將item輸出為csv格式的快捷方式，第一次輸出后是亂碼，這時候我們要在settings.py設置一些編碼格式：
FEED_EXPORT_ENCODING = 'GBK'
另外，在python包下面exporters.py里面CsvItemExporter 類中io.TextIOWrapper添加參數newline=''，取消csv的自動換行
再次運行上述命令，我們想要的信息都被下載到douban.scv文件夾里了：
以上是scrapy框架怎么運行python爬蟲并下載數據的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
