您好,登錄后才能下訂單哦!
這篇文章主要介紹用python爬蟲scrapy框架中獲取內容對的示例,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
Items介紹
爬取的主要目標就是從非結構性的數據源提取結構性數據,例如網頁。 Scrapy spider可以以python的dict來返回提取的數據.雖然dict很方便,并且用起來也熟悉,但是其缺少結構性,容易打錯字段的名字或者返回不一致的數據,尤其在具有多個spider的大項目中。
為了定義常用的輸出數據,Scrapy提供了 Item 類。 Item 對象是種簡單的容器,保存了爬取到得數據。 其提供了 類似于詞典(dictionary-like) 的API以及用于聲明可用字段的簡單語法。
許多Scrapy組件使用了Item提供的額外信息: exporter根據Item聲明的字段來導出數據、 序列化可以通過Item字段的元數據(metadata)來定義、 trackref 追蹤Item實例來幫助尋找內存泄露 (see 使用 trackref 調試內存泄露) 等等。
Item 對象是種簡單的容器,保存了爬取到得數據。 其提供了 類似于詞典(dictionary-like) 的API以及用于聲明可用字段的簡單語法。
在Scrapy中,items是用來加載抓取內容的容器,提供了一些額外的保護減少錯誤。
一般來說,item可以用scrapy.item.Item類來創建,并且用scrapy.item.Field對象來定義屬性。
接下來,我們開始來構建item模型(model)。
首先,我們想要的內容有:
排名(ranking)
電影名稱(movie_name)
電影評分(score)
評論人數(score_num)
格言(quote)
Item使用簡單的class定義語法以及Field對象來聲明。我們打開scrapyspider目錄下的items.py文件寫入下列代碼聲明Item:
以上是用python爬蟲scrapy框架中獲取內容對的示例的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。