抓取遠(yuǎn)程內(nèi)容，之前一直都在用file_get_content函數(shù)，其實(shí)早就知道有curl這么一個(gè)好東西的存在，但是看了一眼后感覺(jué)使用頗有些復(fù)雜，沒(méi)有file_get_content那么簡(jiǎn)單，再就是需求也不大，所以沒(méi)有學(xué)習(xí)使用curl。
直到最近，要做一個(gè)網(wǎng)頁(yè)小偷程序的時(shí)候才發(fā)現(xiàn)file_get_content已經(jīng)完全不能滿足需求了。我覺(jué)得，在讀取遠(yuǎn)程內(nèi)容的時(shí)候，file_get_content除了使用比curl便捷以外，其他都沒(méi)有curl好。

php中curl和file_get_content的一些比較

主要區(qū)別：

學(xué)習(xí)才發(fā)現(xiàn)，curl支持很多協(xié)議，有FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE以及LDAP，也就是說(shuō)，它能做到很多file_get_content做不到的事情。curl在php可以實(shí)現(xiàn)遠(yuǎn)程獲取和采集內(nèi)容；實(shí)現(xiàn)php網(wǎng)頁(yè)版的FTP上傳下載；實(shí)現(xiàn)模擬登陸；實(shí)現(xiàn)接口對(duì)接（API），數(shù)據(jù)傳輸；實(shí)現(xiàn)模擬Cookie；下載文件斷點(diǎn)續(xù)傳等等，功能十分強(qiáng)大。

了解curl一些基本的使用后，才發(fā)現(xiàn)其實(shí)并不難，只不過(guò)記住里面一些設(shè)置參數(shù)，難弄一點(diǎn)，但是我們記住幾個(gè)常用的就可以了。

開(kāi)啟curl：

因?yàn)?a href=/itjie/phpjishu/ target=_blank class=infotextkey>php默認(rèn)是不支持curl功能的，因此如果要用curl的話，首先需要在php.ini中開(kāi)啟該功能，即去掉 ;extension= php_curl.dll 前面的分號(hào)，然后保存后重啟apache/iis就好了。

基本語(yǔ)法：
復(fù)制代碼 代碼如下:
$my_curl = curl_init();    //初始化一個(gè)curl對(duì)象
curl_setopt($my_curl, CURLOPT_URL, "http://www.jb51.NET");    //設(shè)置你需要抓取的URL
curl_setopt($my_curl,CURLOPT_RETURNTRANSFER,1);    //設(shè)置是將結(jié)果保存到字符串中還是輸出到屏幕上，1表示將結(jié)果保存到字符串
$str = curl_exec($curl);    //執(zhí)行請(qǐng)求
echo $str;    //輸出抓取的結(jié)果
curl_close($curl);    //關(guān)閉url請(qǐng)求

最近需要獲取別人網(wǎng)站上的音樂(lè)數(shù)據(jù)。用了file_get_contents函數(shù)，但是總是會(huì)遇到獲取失敗的問(wèn)題，盡管按照手冊(cè)中的例子設(shè)置了超時(shí)，可多數(shù)時(shí)候不會(huì)奏效：

$config['context'] = stream_context_create(array('http' => array('method' => "GET",
'timeout' => 5//這個(gè)超時(shí)時(shí)間不穩(wěn)定，經(jīng)常不奏效
)
));

這時(shí)候，看一下服務(wù)器的連接池，會(huì)發(fā)現(xiàn)一堆類似的錯(cuò)誤，讓我頭疼萬(wàn)分：
file_get_contents(http://***): failed to open stream…

現(xiàn)在改用了curl庫(kù)，寫了一個(gè)函數(shù)替換：
function curl_file_get_contents($durl){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $durl);
curl_setopt($ch, CURLOPT_TIMEOUT, 5);
curl_setopt($ch, CURLOPT_USERAGENT, _USERAGENT_);
curl_setopt($ch, CURLOPT_REFERER,_REFERER_);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$r = curl_exec($ch);
curl_close($ch);
return $r;
}

如此，除了真正的網(wǎng)絡(luò)問(wèn)題外，沒(méi)再出現(xiàn)任何問(wèn)題。
這是別人做過(guò)的關(guān)于curl和file_get_contents的測(cè)試：
file_get_contents抓取google.com需用秒數(shù)：

2.31319094
2.30374217
2.21512604
3.30553889
2.30124092

curl使用的時(shí)間：

0.68719101
0.64675593
0.64326
0.81983113
0.63956594

差距很大？呵呵，從我使用的經(jīng)驗(yàn)來(lái)說(shuō)，這兩個(gè)工具不只是速度有差異，穩(wěn)定性也相差很大。

建議對(duì)網(wǎng)絡(luò)數(shù)據(jù)抓取穩(wěn)定性要求比較高的朋友使用上面的 curl_file_get_contents函數(shù)，不但穩(wěn)定速度快，還能假冒瀏覽器欺騙目標(biāo)地址哦！

方法1: 用file_get_contents 以get方式獲取內(nèi)容

復(fù)制代碼 代碼如下:
<?php
$url='http://www.domain.com/';
$html = file_get_contents($url);
echo $html;
?>

方法2: 用fopen打開(kāi)url, 以get方式獲取內(nèi)容

復(fù)制代碼 代碼如下:
<?php
$fp = fopen($url, 'r');
stream_get_meta_data($fp);
while(!feof($fp)) {
$result .= fgets($fp, 1024);
}
echo "url body: $result";
fclose($fp);
?>

方法3：用file_get_contents函數(shù),以post方式獲取url

復(fù)制代碼 代碼如下:
<?php
$data = array ('foo' => 'bar');
$data = http_build_query($data);

$opts = array (
'http' => array (
'method' => 'POST',
'header'=> "Content-type: application/x-www-form-urlencodedrn" .
"Content-Length: " . strlen($data) . "rn",
'content' => $data
)
);
$context = stream_context_create($opts);
$html = file_get_contents('http://localhost/e/admin/test.html', false, $context);
echo $html;
?>

方法4：用fsockopen函數(shù)打開(kāi)url，以get方式獲取完整的數(shù)據(jù)，包括header和body

復(fù)制代碼 代碼如下:
<?php
function get_url ($url,$cookie=false)
{
$url = parse_url($url);
$query = $url[path]."?".$url[query];
echo "Query:".$query;
$fp = fsockopen( $url[host], $url[port]?$url[port]:80 , $errno, $errstr, 30);
if (!$fp) {
return false;
} else {
$request = "GET $query HTTP/1.1rn";
$request .= "Host: $url[host]rn";
$request .= "Connection: Closern";
if($cookie) $request.="Cookie: $cookien";
$request.="rn";
fwrite($fp,$request);
while()) {
$result .= @fgets($fp, 1024);
}
fclose($fp);
return $result;
}
}
//獲取url的html部分，去掉header
function GetUrlHTML($url,$cookie=false)
{
$rowdata = get_url($url,$cookie);
if($rowdata)
{
$body= stristr($rowdata,"rnrn");
$body=substr($body,4,strlen($body));
return $body;
}
return false;
}
?>

方法5：用fsockopen函數(shù)打開(kāi)url，以POST方式獲取完整的數(shù)據(jù)，包括header和body

復(fù)制代碼 代碼如下:
<?php
function HTTP_Post($URL,$data,$cookie, $referrer="")
{
// parsing the given URL
$URL_Info=parse_url($URL);

// Building referrer
if($referrer=="") // if not given use this script as referrer
$referrer="111″;

// making string from $data
foreach($data as $key=>$value)
$values[]="$key=".urlencode($value);
$data_string=implode("&",$values);

// Find out which port is needed