|
php的CURL正常抓取頁(yè)面程序如下:
$url = 'http://www.baidu.com';$ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_VERBOSE, true); curl_setopt($ch, CURLOPT_HEADER, true);curl_setopt($ch, CURLOPT_NOBODY, true);curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_TIMEOUT, 20); curl_setopt($ch, CURLOPT_AUTOREFERER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); $ret = curl_exec($ch); $info = curl_getinfo($ch); curl_close($ch);
如果你抓取到的是302狀態(tài),是因?yàn)樵僮ト〉倪^(guò)程中,有的跳轉(zhuǎn)需要給下一個(gè)鏈接傳遞參數(shù),而下一個(gè)鏈接同時(shí)也設(shè)置了如果沒(méi)接收到相應(yīng)的參數(shù)是為非法訪問(wèn)。
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, 'GET');
顯示就應(yīng)該正常了。
上面用來(lái)抓取功能,幾乎應(yīng)該沒(méi)問(wèn)題的。你可以查一下CURLOPT_CUSTOMREQUEST相關(guān)資料。
使用一個(gè)自定義的請(qǐng)求信息來(lái)代替”GET”或”HEAD”作為HTTP請(qǐng)求。這對(duì)于執(zhí)行”DELETE” 或者其他更隱蔽的HTTP請(qǐng)求。有效值如”GET”,”P(pán)OST”,”CONNECT”等等。也就是說(shuō),不要在這里輸入整個(gè)HTTP請(qǐng)求。例如輸入”GET /index.html HTTP/1.0/r/n/r/n”是不正確的。
php技術(shù):PHP curl實(shí)現(xiàn)抓取302跳轉(zhuǎn)后頁(yè)面的示例,轉(zhuǎn)載需保留來(lái)源!
鄭重聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息之目的,如作者信息標(biāo)記有誤,請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除,多謝。