91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

php爬蟲原型

發布時間:2020-08-10 15:17:12 來源:網絡 閱讀:350 作者:Lee_吉 欄目:web開發
/*
 @desc:爬蟲原型
 @author [Lee] <[<complet@163.com>]>
 @param url 初始url
 @param callback 處理業務的回調函數
 @param 挖掘url的深度 默認3
 */
function crawl($url,$callback,$depth = 3){
    if($depth > 0){
        $depth--;
        $http = new http($url);
        $content = $http->get()->exec();
        // 業務處理開始
        call_user_func($callback,$content);
        // 業務處理結束
        $preg = '/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/';
        $bool = preg_match_all($preg,$content,$res);
        $urls = array();
        if($bool){
            $urls = $res[1];
        }
                $urls = array_unique($urls);
        $info = parse_url($url);
        $scheme = $info["scheme"]?:'http';
        $user = $info["user"];
        $pass = $info["pass"];
        $host = $info["host"];
        $port = $info["port"];
        $path = $info["path"];
        $url = $scheme . '://';
        if ($user && $pass) {
            $url .= $user . ":" . $pass . "@";
        }
        $url .= $host;
        if ($port) {
            $url .= ":" . $port;
        } 
        $url .= $path;
        if (is_array($urls)) {
            foreach ($urls as $u) {
                if (preg_match('/^http/', $u)) {
                    $returl = $u;
                } else {
                    $real = $url . '/' . $u;
                    $returl = $real;
                }
                crawl($returl,$callback,$depth);
            }
        }
    }
}
向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

昌图县| 城口县| 泉州市| 维西| 榆社县| 固安县| 托克托县| 白沙| 米易县| 双辽市| 雷山县| 息烽县| 兖州市| 祁阳县| 拜泉县| 双峰县| 玛纳斯县| 尉氏县| 手游| 龙岩市| 荣成市| 余庆县| 湟中县| 洪泽县| 湖北省| 邵东县| 陆川县| 丰都县| 新化县| 枣阳市| 岳西县| 砀山县| 廊坊市| 伊宁市| 高密市| 鄂州市| 德州市| 涞源县| 图木舒克市| 彩票| 凤凰县|