怎么在python中利用遞歸實現一個爬蟲解析器

怎么在python中利用遞歸實現一個爬蟲解析器？相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

另外一種是配置文件預先告知的方式，你配置成什么類型，解析器就通過對應的解析規則去解析。

統一網頁形式，需要做大量的網頁內容形式轉換，而配置文件預先告知則需要在配置時指定更多解析字段。相比較而言，通過第二種方式，未來改變較多的是配置規則，不需要動核心代碼，引入 bug 的可能性較低。因此這里我們采用第二種方式實現解析器

進一步分析

解析器對于網頁內容的提取，本質上和我們在本地電腦上查找和整理文件，沒有什么差別。比如像下面這樣

解析內容就是從中提取我們想要的信息，然后整理成我們希望的格式。比如上面的內容，我們提取出來的形式應該是這樣

{
  "design": "設計圖.psd",
  "software": "sketch.dmg"
}

而在實際的爬蟲開發過程中，網頁形式遠比以上的復雜。其實遇到最多的問題是在一組列表中嵌套一個列表，我們需要把這種形式提取出來。比如像下面這種形式

{
    "a": "a",
    "b": [
        {"c": "c1", "d": "d1"},
        {"c": "c2", "d": "d2"}]
}

他提取出信息后應該是這樣

[
  {
    "a": "a",
    "c": "c1",
    "d": "d1"
  },
  {
    "a": "a",
    "c": "c2",
    "d": "d2"
  }
]

如果小伙伴對于算法熟悉的話，應該能察覺出這種遍歷用遞歸來寫是非常方便的。但要注意的是 python 會限定遞歸的層數，小伙伴可以通過下面這個方法查看遞歸限定的層數

import sys
print(sys.getrecursionlimit())

>>>1000

我這邊限定的層數是 1k。對于解析網頁來說完全夠用了，如果哪個人把網頁解析邏輯嵌套了 1000 層，我建議你直接跟老板提放棄這個網頁吧！

再進一步分析

我們已經知道對于通用解析來說，就是通過配置解析規則提取頁面的對應信息。而針對有列表層級的網頁可能還涉及遞歸遍歷問題。那如何去配置這種解析規則呢？其實很簡單，只需要在進入每一個層級之前先指定該層的數據形式，比如下面這個原數據

{
  "a": "a",
  "b": [
          {"c": "c1", "d": "d1"},
          {"c": "c2", "d" : "d2"}
       ]
}

想提取嵌套信息，我們的解析規則就應該是這樣的

[
 {
  "$name": "a",
  "$value_type": "raw",
  "$parse_method": "json",
  "$parse_rule": "a",
  "$each": []
 },
 {
  "$name": "__datas__",
  "$value_type": "recursion",
  "$parse_method": "json",
  "$parse_rule": "b",
  "$each": [
        {  
         "$name": "c",
          "$value_type": "raw",
         "$parse_method": "json",
         "$parse_rule": "c",
         "$each": []
        },
        {  
         "$name": "d",
          "$value_type": "raw",
         "$parse_method": "json",
         "$parse_rule": "d",
         "$each": []
        }
      ]
 }
]

其中 $name 字段表示我們最終希望最外層數據所擁有的字段名，當然如果是需要遞歸到內層的字段，則將列表保存為 __datas__ ，然后根據這個 __datas__ 進行內層結構的解析。最終我們得到的數據結構應該是這樣的

[
  {"a": "a", "c": "c1", "d": "d1"}, 
  {"a": "a", "c": "c2", "d": "d2"}
]

以上我們只演示了 json 的解析規則，如果要拿來解析 html 對象呢？很簡單，將解析方式改為 xpath 對象，然后傳入 xpath 解析語法即可。

代碼實現

總共分成兩部分，一部分根據原最終結果和規則進行打包，將所有涉及 recursion 邏輯的字段進行轉換，代碼如下

def _pack_json(result, rules):
        item = {}

        for p_rule in rules:

            if p_rule.get("$value_type") == "raw":
                if p_rule.get("$parse_method") == "json":
                    item[p_rule.get("$name")] = glom(result, p_rule.get("$parse_rule"))

            elif p_rule.get("$value_type") == "recursion":
                if p_rule.get("$parse_method") == "json":
                    tmp_result = glom(result, p_rule.get("$parse_rule"))
                    total_result = []
                    for per_r in tmp_result:
                        total_result.append(_pack_json(per_r, p_rule.get("$each")))
                    item[p_rule.get("$name")] = total_result
        return item

另外一部分將上一步得到的進行解析，將打包得到的結果進行解包，即將所有內嵌的數據提到最外層，代碼如下

def _unpack_datas(result: dict) -> list:
        if "__datas__" not in result:
            return [result]

        item_results = []
        all_item = result.pop("__datas__")

        for per_item in all_item:
            if "__datas__" in per_item:
                tmp_datas = per_item.pop("__datas__")
                for per_tmp_data in tmp_datas:
                    tmp_item = _unpack_datas(per_tmp_data)
                    for per_tmp_item in tmp_item:
                        item_results.append({**per_tmp_item, **per_item})
            else:
                item_results.append({**result, **per_item})

        return item_results

后再包一層執行入口就可以了，完整代碼如下

from loguru import logger

from glom import glom


def parse(result, rules):

    def _pack_json(result, rules):
        item = {}

        for p_rule in rules:

            if p_rule.get("$value_type") == "raw":
                if p_rule.get("$parse_method") == "json":
                    item[p_rule.get("$name")] = glom(result, p_rule.get("$parse_rule"))

            elif p_rule.get("$value_type") == "recursion":
                if p_rule.get("$parse_method") == "json":
                    tmp_result = glom(result, p_rule.get("$parse_rule"))
                    total_result = []
                    for per_r in tmp_result:
                        total_result.append(_pack_json(per_r, p_rule.get("$each")))
                    item[p_rule.get("$name")] = total_result
        return item

    def _unpack_datas(result: dict) -> list:
        if "__datas__" not in result:
            return [result]

        item_results = []
        all_item = result.pop("__datas__")

        for per_item in all_item:
            if "__datas__" in per_item:
                tmp_datas = per_item.pop("__datas__")
                for per_tmp_data in tmp_datas:
                    tmp_item = _unpack_datas(per_tmp_data)
                    for per_tmp_item in tmp_item:
                        item_results.append({**per_tmp_item, **per_item})
            else:
                item_results.append({**result, **per_item})

        return item_results

    pack_result = _pack_json(result, rules)
    logger.info(pack_result)
    return _unpack_datas(pack_result)

看完上述內容，你們掌握怎么在python中利用遞歸實現一個爬蟲解析器的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！