一区二区久久-一区二区三区www-一区二区三区久久-一区二区三区久久精品-麻豆国产一区二区在线观看-麻豆国产视频

PHP CURL獲取cookies模擬登錄的方法

要提取google搜索的部分數據,發現google對于軟件抓取它的數據屏蔽的厲害,以前偽造下 USER-AGENT 就可以抓數據,但是現在卻不行了。利用抓包數據發現,Google 判斷了 cookies,當你沒有cookies的時候,直接返回 302 跳轉,而且是連續幾十個302跳轉,根本抓不了數據。
因此,在發送搜索命令時,需要先提取 cookies 并保存,然后利用保存下來的這個cookies再次發送搜索命令即可正常抓數據了。這其實和論壇的模擬登錄一個道理,先POST登錄,獲取cookies并保存,然后利用這個cookies訪問就可以了。
php 代碼如下:
復制代碼 代碼如下:
<?php
header('Content-Type: text/html; charset=utf-8');

$cookie_file = dirname(__FILE__).'/cookie.txt';
//$cookie_file = tempnam("tmp","cookie");

//先獲取cookies并保存
$url = "http://www.google.com.hk";
$ch = curl_init($url); //初始化
curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串,而非直接輸出
curl_setopt($ch, CURLOPT_COOKIEJAR,  $cookie_file); //存儲cookies
curl_exec($ch);
curl_close($ch);

//使用上面保存的cookies再次訪問
$url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面獲取的cookies
$response = curl_exec($ch);
curl_close($ch);

echo $response;
?>

php技術PHP CURL獲取cookies模擬登錄的方法,轉載需保留來源!

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

主站蜘蛛池模板: 久爱精品视频在线视频 | 国内精品手机在线观看视频 | 免费精品视频 | 国产图片综合区 | 婷婷影院在线观看 | 色呦呦在线观看视频 | 亚洲免费三区 | 亚洲一区二区三区免费在线观看 | 国内精品区一区二区三 | 爱做久久久久久久久久 | 国产精品白浆在线播放 | 欧美亚洲国产另类 | 精品无码一区在线观看 | 日韩字幕无线乱码 | 高清视频一区二区 | 美女很黄很黄是免费的·无遮挡网站 | 国产成人精品福利网站在线观看 | 一区卡二区卡三区卡视频 | 欧美三级视频在线观看 | 国产乱论视频 | 国产精品自产拍视频观看 | 四虎影视8848a四虎在线播放 | 麻豆久久久久久久 | 色噜噜狠狠先锋影音久久 | 国内精品视频九九九九 | 一级做a爰片久久毛片毛片 一级做a爰片久久毛片美女 | 日本乱中文字幕系列在线观看 | 欧美 亚洲 综合 卡通 另类 区 | 毛片一级做a爰片性色 | 中文字幕日产每天更新40 | 成年ssswww网站 | 亚洲激情黄色 | 香港三级欧美国产精品 | 久久精品国产四虎 | 欧洲视频一区 | 亚洲精品乱码蜜桃久久久 | 欧美综合区 | 黄色影片在线观看 | 国产原创中文视频 | 午夜在线播放视频 | 欧美日韩中文亚洲另类春色 |