關于用php的curl批量抓取內容

先上個單個采集的curl訪問案例

<?php

$curl = curl_init();

curl_setopt($curl, CURLOPT_URL, 'www.baidu.com');

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);

curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0');

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 0);

curl_setopt($curl, CURLOPT_AUTOREFERER, 0);

curl_setopt($curl, CURLOPT_HTTPGET, 0);

//curl_setopt($curl, CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陸才能采集的話,需要加上你登陸后得到的cookie文件  

curl_setopt($curl, CURLOPT_TIMEOUT, 0); // 設置超時限制防止死循環  

curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 0); // 在發起連接前等待的時間，如果設置為0，則無限等待。

curl_setopt($curl, CURLOPT_CONNECTTIMEOUT_MS, 0); // 嘗試連接等待的時間，以毫秒為單位。如果設置為0，則無限等待。  

curl_setopt($curl, CURLOPT_HEADER, 0);

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

$tmpInfo = curl_exec($curl);

var_dump($tmpInfo); exit;

?>

在php開發中,會涉及到一些數據方面的采集工作.那么在我們采集的時候,避不可免的會碰到要批量采集的時候.

舉個粟子.

當我們要采集新聞的時候,到了一個新聞的列表頁,那么我們分析了這個列表的鏈接后,當然可以通過循環的方法,一個個的按普通的方式來采集.但是,這很影響效率.執行超慢.于是,翻開php手冊,發現還可以批量采集 批量采集神器 curl_multi_init 登場;

假如需要同時采集兩個地址,怎么辦?

下面這個例子,我想你看了就會明白了

<?php

$urls = array('http://www.baidu.com/','http://www.sogou.com/');

$queue = curl_multi_init(); //允許并行地處理批處理cURL句柄。

foreach($urls as $url) {    

   $ch = curl_init();        

   curl_setopt($ch,  CURLOPT_URL, $url);           //這個curl只是說明了它是要干嘛,但是一直到 curl_multi_add_handle 都啥也沒有去干,也就是說沒有去模擬訪問

   curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);  

   curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 1);

   curl_setopt($ch,  CURLOPT_TIMEOUT, 25000);//超時

   curl_setopt($ch,  CURLOPT_RETURNTRANSFER, 1);

   curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0'); //指明你的瀏覽器,這是我的

   //curl_setopt($ch, CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陸才能采集的話,需要加上你登陸后得到的cookie文件  

   curl_setopt($ch, CURLOPT_HEADER, 0);

   curl_setopt($ch, CURLOPT_NOSIGNAL, true);

   curl_multi_add_handle($queue,$ch);  //向批處理句柄中,添加句柄   后面批量的去模擬訪問,抓取回資源

}

$responses = array();   //事先聲名一個數組

do{

   while(($code = curl_multi_exec($queue,$active)) == CURLM_CALL_MULTI_PERFORM);   //返回值如果是0,那就得繼續

}while($active);    //一直到資源里還有0條為止

//經過了剛才的循環指抓取 此時 $queue 就是一個批量的資源集了 這只是資源集,你需要把它讀取出來.好,讀取在下面閃亮登場

while($done = curl_multi_info_read($queue)){// 用這個專門讀取批量資源集的函數,可以把這個資源集的內容一條條的讀出來

   //用上面的函數讀出來的,是一個數組,數組中有批量資源中的一條資源,而且被放在 handle 鍵上

   $str = curl_multi_getcontent($done['handle']);      //要讀取資源集的資源條抓取回來的內容,還得用專門的curl_multi_getcontent函數才能完成

   curl_multi_remove_handle($queue,$done['handle']);   //讀取了資源,別忘記把該資源從資源集中移除

   curl_close($done['handle']);                        //也別忘記把這個資源句柄關閉,減小內存開銷

   $responses[] = $str;

}

curl_multi_close($queue);   //把總句柄關閉

var_dump($responses);        //好,打印一下你剛才批量抓取的內容

?>

試著把代碼拷到你的電腦上運行一下.

看明白了嗎?

不明白,可以問我.樂意為你解答. 注:==>>老鳥匆噴,感覺對你有用,留點話,呵呵