一区二区久久-一区二区三区www-一区二区三区久久-一区二区三区久久精品-麻豆国产一区二区在线观看-麻豆国产视频

php使用curl和正則表達(dá)式抓取網(wǎng)頁數(shù)據(jù)示例

2014-10-22 20:05:02 分類：php技術(shù) 閱讀()

利用curl和正則表達(dá)式做的一個(gè)針對(duì)磨鐵中文網(wǎng)非vip章節(jié)的小說抓取器，支持輸入小說ID下載小說。
依賴項(xiàng)：curl
可以簡單的看下，里面用到了curl ,正則表達(dá)式，ajax等技術(shù)，適合新手看看。在本地測試，必須保證聯(lián)網(wǎng)并且確保php開啟curl的mode

SpiderTools.class.php
復(fù)制代碼 代碼如下:
<?php
  session_start();
 //封裝成類 開啟這些自動(dòng)抓取文章
  #header("Refresh:30;http://www.test.com:8080");
 class SpiderTools{ 
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
 /*傳入文章ID 解析出文章標(biāo)題*/
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
 public function getBookNameById($aid){
  //初始化curl
  $ch= curl_init();
  //url
  $url='http://www.motie.com/book/'.$aid;
  if(is_numeric($aid)){
  //正則表達(dá)式匹配
  $ru="/<h1/sclass=/"p-title/">/s*<a/shref=/"http://book///d+/">(.*)/s*<//a>/s*<//h1>/";
  }
  else{
  //<title>喪尸爆發(fā)之全家求生路_第一章  喪尸爆發(fā) 　為吾友愛樂兒更新~_磨鐵</title>
  $ru="/<title>(.*)<//title>/";
  }
  //設(shè)置選項(xiàng)，包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自動(dòng)輸出內(nèi)容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回頭部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //執(zhí)行curl
  $output = curl_exec($ch);
  //錯(cuò)誤提示
  if(curl_exec($ch) === false){
   die(curl_error($ch));
  }
  // 檢查是否有錯(cuò)誤發(fā)生
  if(curl_errno($ch)){
  echo 'Curl error: ' . curl_error($ch);
  }
  //釋放curl句柄
  curl_close($ch);
  $arr=array();
  preg_match_all($ru,$output,$arr);
  return $arr[1][0];
   }
 //////////////////////////////////////////////////////////////////////////////////////////////////////////     
 /*傳入文章ID  解析文章內(nèi)容*/
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
 public  function getBookContextById($aid){
  //開始解析文章
  $ids=array();
  $ids=explode("_",$aid);
  $titleId=trim($ids[0]);
  $aticleId=trim($ids[1]);
  $ch= curl_init();
  $ru="/<div class=/"page-content/">[/s/S]*<pre ondragstart=/"return false/" oncopy=/"return false;/" oncut=/"return false;/" oncontextmenu=/"return false/" class=/"note/" id=/"html_content_/d*/">[/s/S]*(.*)<img src=/"http://ajax//chapter//$titleId//$aticleId/" class=/"hidden/" //><//pre>/ui"; 
  $url='http://www.motie.com/book/'.$aid;
  //正則表達(dá)式匹配

  //設(shè)置選項(xiàng)，包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自動(dòng)輸出內(nèi)容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回頭部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //執(zhí)行curl
  $output = curl_exec($ch);
  //錯(cuò)誤提示
  if(curl_exec($ch) === false){
   die(curl_error($ch));
  }
  // 檢查是否有錯(cuò)誤發(fā)生
  if(curl_errno($ch)){
   echo 'Curl error: ' . curl_error($ch);
  }
  $arr=array();
  $arr2=array();
  preg_match_all($ru,$output,$arr);
  curl_close($ch);
  #var_dump($arr);
  $s=$arr[0][0];
  $s=substr($s,180);
  $arr2=explode("<img",$s);
  return trim($arr2[0]);
 }

 ////////////////////////////////////////////////////////////////////////////////////////////////////////// 
 /*靜態(tài)方法 @生成小說文件 可以直接調(diào)用 */
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
     public static function createBookById($id){

  if(!is_numeric($id)){

  echo "<br/>INIT BEGIN START WRITE!";
  $st=new self();
  $cons=$st->getBookContextById($id);
  $title=$st->getBookNameById($id);
  $cons=trim($cons);
  $t=explode(" ",$title);
  //構(gòu)造目錄
  $dir=array();
  $dir=explode("_",$t[0]);
  $wzdir=$dir[0];  //書名稱 作為目錄名稱
  $wzchapter=$dir[1]; //第幾章
  //創(chuàng)建目錄
  $wzdir2=iconv("UTF-8", "GBK", $wzdir);//目錄編碼 注意這里保留對(duì)$wzdir字符串的引用，用來構(gòu)造文件名，不能用此處，防止二次編碼
  if(!file_exists($wzdir2)){
   mkdir($wzdir2); //創(chuàng)建目錄
  }
  //構(gòu)造文件名
  $wztitle="./".$wzdir."/"."$t[0]".".txt";
  //保證保存的文件名稱不是亂碼
  $wztitle=iconv("UTF-8", "GBK", $wztitle);
  $f=fopen($wztitle,"w+");
  fwrite($f,$cons);
  echo "<font color='green'>$wzdir </font>".$wzchapter."<font color='red'>寫入成功</font>";
  fclose($f); 

  } 
  else{
  $ids=self::getBookIdsById($id); 

  //這里服務(wù)器可能會(huì)掉線，所以最好用session記錄循環(huán)
  #for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){

   #self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//構(gòu)造id
  #}

  for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){

   self::createBookById($id."_".$ids[$i]);//構(gòu)造id
  }

  #echo "<hr/><hr/><br/><h1>寫入工作全部完成</h1>";
  #echo $id."_".$ids[0]."<br/>"; 
  #var_dump($ids);

  }


 }
  /*
  獲取小說的所有ID
  @param $id 文章ID
  @return array;
  */
  public static function getBookIdsById($aid){ 
  $ch= curl_init();
  $url='http://www.motie.com/book/'.$aid."/chapter";
  //注意這里的?可以獲取最少匹配項(xiàng)
  $ru='/[/s/S]*?<li class=/"/" createdate=/"/d{4}/-/d{2}/-/d{2} /d{2}:/d{2}:/d{2}/">[/s/S]*?<a href=/"http://book//'.$aid.'_(/d*?)/"/s{1}>.*?<//a>.*?/u';//正則表達(dá)式匹配
  //設(shè)置選項(xiàng)，包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自動(dòng)輸出內(nèi)容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回頭部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //執(zhí)行curl
  $output = curl_exec($ch);
  // 檢查是否有錯(cuò)誤發(fā)生
  if(curl_errno($ch)){
  echo 'Curl error: ' . curl_error($ch);
  }
  //釋放curl句柄
  curl_close($ch);
  $arr=array();
  preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER);
  return $arr[1];
  }
}
?>

getinfo.php
復(fù)制代碼 代碼如下:
<?php
 session_start();
require_once("SpiderTools.class.php");
if($_REQUEST["bid"]){
if(is_numeric($_REQUEST["bid"])){
 SpiderTools::createBookById(trim($_REQUEST["bid"]));
 }
 else{
  echo "<br/>請(qǐng)輸入正確的文章ID<br/>";
 }
}
?>

index.html
復(fù)制代碼 代碼如下:
<html>
<head><meta charset="utf-8"/></head>
<title>下載小說啦</title>
<body>
<h1>輸入磨鐵中文網(wǎng)你想看到的小說ID號(hào)就可以下載小說啦</h1>
<form method="get" action="getinfo.php">
<input type="text" id="myid" name="myid" value=""/>
<input type="button" value="生成小說" onclick="createbook();"/>
</form>
<div id="info" style="background:black;height:500px;width:1067px;overflow:scroll;color:white">
</div>

<!-----AJAX------>
<script language="Javascript">
var xmlHttp;
function createbook()
{
xmlHttp=GetXmlHttpObject()
if (xmlHttp==null)
 {
 alert ("瀏覽器不支持ajax")
 return
 }
var bookid=document.getElementById("myid").value
var url="getinfo.php"
url=url+"?bid="+bookid;
url=url+"&sid="+Math.random()
xmlHttp.onreadystatechange=stateChanged
xmlHttp.open("GET",url,true)
xmlHttp.send(null)
}

function stateChanged()
{
if(xmlHttp.readyState==1){

 document.getElementById("info").innerHTML="正在準(zhǔn)備工作，請(qǐng)耐心點(diǎn)哦~^_^~<img src=/"img/1.gif/"  /><br/>";
}
if(xmlHttp.readyState==2){

 document.getElementById("info").innerHTML="正在聯(lián)系服務(wù)器，這可能需要一點(diǎn)時(shí)間啦^><img src=/"img/2.gif/"  /><^<br/>";
}

if(xmlHttp.readyState==3){

 document.getElementById("info").innerHTML="正在解析數(shù)據(jù)<img src=/"img/3.gif/"  /><br/>";
}

if (xmlHttp.readyState==4 || xmlHttp.readyState=="complete")
 {

 document.getElementById("info").innerHTML=xmlHttp.responseText;
 //xmlHttp.abort();

 

 }


}

function GetXmlHttpObject()
{
var xmlHttp=null;
try
 {
 // Firefox, Opera 8.0+, Safari
 xmlHttp=new XMLHttpRequest();
 }
catch (e)
 {
 //InterNET Explorer
 try
  {
  xmlHttp=new ActiveXObject("Msxml2.XMLHTTP");
  }
 catch (e)
  {
  xmlHttp=new ActiveXObject("Microsoft.XMLHTTP");
  }
 }
return xmlHttp;
}
</script>
</body>
</html>

php技術(shù)：php使用curl和正則表達(dá)式抓取網(wǎng)頁數(shù)據(jù)示例，轉(zhuǎn)載需保留來源！

鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。

標(biāo)簽：
主站蜘蛛池模板： 91久久精品都在这里 | 五月天丁香六月欧美综合 | 小说区 图片区 视频区 | 激情五月激情综合 | 91精品国产免费久久久久久青草 | 丁香六月婷婷 | 欧美色人| 国产在线伊人 | 亚洲国产精品成人综合色在线婷婷 | 国产精品一区二区三区四区五区 | 久久久久久88色愉愉 | 91精选视频在线观看 | 久久网页| 国产成人久久精品 | 香蕉在线视频网站 | 国产成人aa视频在线观看 | 日韩无遮挡大尺度啪啪影片 | 国产亚洲美女精品久久久久狼 | 正在播放国产乱子伦视频 | 韩国一级毛片视频免费观看 | 午夜视频在线观看一区 | 婷婷六月丁香午夜爱爱 | 国产3区 | 69国产成人精品视频软件 | 一区二区三区免费在线 | 亚洲图片欧美小说 | 精品伊人久久香线蕉 | 久久精品视香蕉蕉er大臿蕉 | 黄色网在线看 | 国产综合色在线视频区色吧图片 | 91色网站 | 九九手机视频 | 国产精品资源在线观看网站 | 精产国品一区 | 成人国产精品视频频 | 久久噜噜噜久久亚洲va久 | 在线播放一区二区三区 | 牛牛影院成人免费网页 | 国产美女在线播放 | 国产色视频一区二区三区 | 国产精品成人第一区 |