php爬蟲怎么添加代理進行訪問

本篇內容主要講解“php爬蟲怎么添加代理進行訪問”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“php爬蟲怎么添加代理進行訪問”吧!

在使用python對網頁進行多次快速爬取的時候,訪問次數過于頻繁,服務器不會考慮User-Agent的信息,會直接把你視為爬蟲,從而過濾掉,拒絕你的訪問,在這種時候就需要設置代理,我們可以給proxies屬性設置一個代理的IP地址,代碼如下:

<?php

        // 要訪問的目標頁面

        $url = "http://httpbin.org/ip";

        $urls = "https://httpbin.org/ip";

        // 代理服務器

        define("PROXY_SERVER", "tcp://t.16yun.cn:31111");

        // 隧道身份信息

        define("PROXY_USER", "16YUN123");

        define("PROXY_PASS", "123456");

        $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);

        // 設置 Proxy tunnel

        $tunnel = rand(1,10000);

        $headers = implode("\r\n", [

            "Proxy-Authorization: Basic {$proxyAuth}",

            "Proxy-Tunnel: ${tunnel}",

        ]);

        $sniServer = parse_url($urls, PHP_URL_HOST);

        $options = [

            "http" => [

                "proxy"  => PROXY_SERVER,

                "header" => $headers,

                "method" => "GET",

                'request_fulluri' => true,

            ],

            'ssl' => array(

                    'SNI_enabled' => true, // Disable SNI for https over http proxies

                    'SNI_server_name' => $sniServer

            )

        ];

        print($url);

        $context = stream_context_create($options);

        $result = file_get_contents($url, false, $context);

        var_dump($result);

        // 訪問 HTTPS 頁面

        print($urls);

        $context = stream_context_create($options);

        $result = file_get_contents($urls, false, $context);

        var_dump($result);?>

在代碼中的目標網站是檢測代理是否訪問成功，如果訪問成功就會返回代理ip，如果代理返回

異常有可能是代理的配置沒有正確，那就需要對配置的代理信息進行檢查。

到此，相信大家對“php爬蟲怎么添加代理進行訪問”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！