Python3網絡爬蟲實戰-8、APP爬取相關庫的安裝：MitmProxy的安裝

MitmProxy 是一個支持 HTTP 和 HTTPS 的抓包程序，類似 Fiddler、Charles 的功能，只不過它是一個控制臺的形式操作。
同時 MitmProxy 還有兩個關聯組件，一個是 MitmDump，它是 MitmProxy 的命令行接口，利用它我們可以對接 Python 腳本，用 Python 實現監聽后的處理。另一個是 MitmWeb，它是一個 Web 程序，通過它我們可以清楚地觀察到 MitmProxy 捕獲的請求。
本節我們來了解一下 MitmProxy、MitmDump、MitmWeb 的安裝方式。

1. 相關鏈接

• GitHub：https://github.com/mitmproxy/...
• 官方網站：https://mitmproxy.org
• PyPi：https://pypi.python.org/pypi/...
• 官方文檔：http://docs.mitmproxy.org
• MitmDump腳本：http://docs.mitmproxy.org/en/...
• 下載地址：https://github.com/mitmproxy/...
• DockerHub：https://hub.docker.com/r/mitm...

2. Pip安裝

最簡單的安裝方式還是使用 Pip，直接執行如下命令即可安裝：

pip3 install mitmproxy

這是最簡單和通用的安裝方式，執行完畢之后即可完成 MitmProxy的安裝，另外還安裝了MitmDump、MitmWeb 兩個組件，如果不想用此種方式安裝也可以選擇下文列出的專門針對各個平臺的安裝方式或者 Docker 安裝方式。

3. Mac下的安裝

Mac 的安裝非常簡單，使用 HomeBrew 即可，命令如下：

brew install mitmproxy
Python資源分享qun 784758214 ,內有安裝包，PDF，學習視頻，這里是Python學習者的聚集地，零基礎，進階，都歡迎

執行命令后即可完成 MitmProxy 的安裝。

4. Docker安裝

MitmProxy 也支持 Docker，其 Docker Hub 的地址為https://hub.docker.com/r/mitm...
Docker 下 MitmProxy 的安裝命令為：

docker run --rm -it -p 8080:8080 mitmproxy/mitmproxy mitmdump

這樣就在 8080 端口上啟動了 MitmProxy 和 MitmDump。
如果想要獲取 CA 證書，可以選擇掛載磁盤選項，命令如下：

docker run --rm -it -v ~/.mitmproxy:/home/mitmproxy/.mitmproxy -p 8080:8080 mitmproxy/mitmproxy mitmdump

這樣可以在 ~/.mitmproxy 目錄找到 CA 證書。
另外還可以在 8081 端口上啟動 MitmWeb，命令如下：

docker run --rm -it -p 8080:8080 -p 127.0.0.1:8081:8081mitmproxy/mitmproxy mitmweb

更多啟動方式可以參考 Docker Hub 的安裝說明。

5. 證書配置

對于 MitmProxy 來說，如果想要截獲 HTTPS 請求，我們就需要設置證書，MitmProxy 在安裝后會提供一套 CA 證書，只要客戶端信任了 MitmProxy 提供的證書，我們就可以通過 MitmProxy 獲取 HTTPS 請求的具體內容，否則 MitmProxy 是無法解析 HTTPS 請求的。
首先運行一下命令產生 CA 證書，啟動 MitmDump 即可：
mitmdump
這樣即可啟動 MitmDump，接下來我們就可以在用戶目錄下的 .mitmproxy 目錄里面找到 CA 證書，如圖 1-61 所示：

圖 1-61 證書文件
證書一共五個，下面是對這五個證書的說明：

下面我們介紹一下 Mac、iOS、Android 平臺下的證書配置過程。

Mac

Mac 下雙擊 mitmproxy-ca-cert.pem 即可彈出鑰匙串管理頁面，然后找到 mitmproxy 證書，點擊打開其設置選項，選擇始終信任即可，如圖 1-66 所示：

圖 1-66 證書配置
這樣就配置完成 Mac 下信任 CA 證書了。

iOS

將 mitmproxy-ca-cert.pem 文件發送到 iPhone 上，推薦使用郵件的方式發送，iPhone 上可以直接點擊附件并識別安裝，如圖 1-67 所示：

圖 1-67 證書安裝頁面
點擊之后會跳到安裝描述文件的頁面，點擊右上角的安裝按鈕即可安裝，此處會有警告提示，如圖 1-68 所示：

圖 1-68 安裝警告頁面
繼續點擊右上角的安裝即可，安裝成功之后會有已安裝的提示，如圖 1-69 所示：

[外鏈圖片轉存失敗(img-sfKKuXmq-1564062496609)(https://upload-images.jianshu.io/upload_images/17885815-7693bed2d976ed26.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

如果你的 iOS 版本是 10.3 以下的話，此處信任 CA 證書的流程就已經完成了。
如果你的 iOS 版本是 10.3 及以上，還需要在設置->通用->關于本機->證書信任設置將證書添加完全信任，如圖 1-70 所示：

[外鏈圖片轉存失敗(img-ECObjZCq-1564062496609)(https://upload-images.jianshu.io/upload_images/17885815-ba963fd7e4de69f0.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

圖 1-70 證書信任設置
在這里將 MitmProxy 的完全信任開關打開即可。
這樣 iOS 上配置信任 CA 證書的流程就結束了。
Android
Android 手機同樣需要將證書 mitmproxy-ca-cert.pem 文件發送到手機上，例如直接拷貝文件。Python資源分享qun 784758214 ,內有安裝包，PDF，學習視頻，這里是Python學習者的聚集地，零基礎，進階，都歡迎
接下來點擊證書便會出現一個提示窗口，如圖 1-71 所示：

[外鏈圖片轉存失敗(img-Eyq9EtGH-1564062496610)(https://upload-images.jianshu.io/upload_images/17885815-66586aaced6e68bd.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

圖 1-71 證書安裝頁面
這時輸入證書的名稱，然后點擊確定即可完成安裝。

6. 結語

本節我們了解了 MitmProxy、MitmDump、MitmWeb 的安裝方式，在后文我們會用它來進行 APP 數據的抓取。