python爬蟲---初識爬蟲

　　我們開始來談談python的爬蟲。

1.什么是爬蟲：

　　網絡爬蟲是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。互聯網猶如一個大蜘蛛網，我們的爬蟲就猶如一個蜘蛛，當在互聯網遇到所需要的資源，我們就會爬取下來，即為爬蟲是一個請求網站并且提取數據的自動化程序。

2.下面我們來提到兩個名詞：

　　1）請求，request即為我們的請求，當我們在瀏覽器內輸入網址，敲擊回車時，這時瀏覽器就會發送消息給該網址所在的服務器，這個過程叫做HTTP Request

　　2）響應，response即為我們的響應，服務器在接收到瀏覽器發送的消息后，能夠根據瀏覽器發送消息的內容做出相應的處理，然后把消息回傳給瀏覽器。這個過程就做HTTP Response。瀏覽器收到服務器的Response信息后，會對信息進行處理，然后展示。

3.Request中包含什么？

　　1）請求方式，請求方式主要包含get，post，另外還有put，head，delete，options等，但我們常用的、常見的還是get和post請求。

　　　　get請求：get請求方式所有的參數都包含在URL地址里，get請求可以直接在瀏覽器地址欄內輸入URL地址，然后直接訪問。

　　　　post請求：比get方式多包含一個formdata數據，且參數沒有在URL地址內。不可以直接在地址欄訪問，需要構造一個form表單，進行提交訪問。

　　　　同時post請求所有參數不顯示地址欄內，相對于get請求來說更安全。

　　2）請求URL，URL全稱統一資源定位符，如一個網頁文檔、一張圖片、一個視頻等都可以用URL唯一來確定。

　　3）請求頭，包含請求時的頭部信息，如User-Agent、Host、Cookies等信息，請求頭是一個很重要的參數，在很多爬蟲里需要設置請求頭信息，

　　　　一般權限驗證，瀏覽器類型等信息，如下圖所示：

　　4）請求體，請求時額外攜帶的數據，如表單提交時的表單數據，一般來說get方式請求時，都沒有請求體。

4.Response中包含什么？

　　1）響應狀態，有多種響應狀態，如200代表成功，404找不到頁面，500服務器錯誤

　　　　擴展：

　　　　　　-1xx ：報告的 -請求被接收到，繼續處理

　　　　　　-2xx ：成功 - 被成功地接收（received），理解（understood），接受（accepted）的動作 。

　　　　　　-3xx ：重發 - 為了完成請求必須采取進一步的動作。

　　　　　　-4xx ：客戶端出錯 - 請求包括錯的語法或不能被滿足。

　　　　　　-5xx ：服務器出錯 - 服務器無法完成顯然有效的請求。

　　2）響應頭，如內容類型、內容長度、服務器信息、設置Cookie等等信息。如圖所示：

　　3）響應體，最主要的部分，包含了請求資源的內容，如網頁HTML，圖片，二進制數據（視頻，圖片等）等信息。

　　　　我們爬取的數據大部分就是從這個部分獲取的

5，我們所需要的環境和資源

　　1）python環境，最好是python3，python2在2020年就不再維護了，語法還是有一定差異的，我建議使用python3。

　　2）redis，mongo分關系型數據庫，安裝過程自行百度。（后期會有專門的博客來說明講解非關系型數據庫）。

　　3）scrapy環境，pip install scrapy即可安裝。

　　4）Urllib庫，Requests庫，BeautifulSoup庫，PyQuery，Selenium和與其相關聯的環境配置（后面我們會逐個來說明每一個庫和其操作使用方法）。

總結：爬蟲是一個請求網站并且提取數據的自動化程序。有的是通過原生html標簽就可以獲取到數據，則有的需要通過解析ajax請求來取得數據。

#×××和學習資料。