一区二区久久-一区二区三区www-一区二区三区久久-一区二区三区久久精品-麻豆国产一区二区在线观看-麻豆国产视频

利用curl 多線程 模擬 并發(fā)的詳解

首先,先了解下 php中的curl多線程函數(shù):
復(fù)制代碼 代碼如下:
# curl_multi_add_handle
# curl_multi_close
# curl_multi_exec
# curl_multi_getcontent
# curl_multi_info_read
# curl_multi_init
# curl_multi_remove_handle
# curl_multi_select

一般來說,想到要用這些函數(shù)時(shí),目的顯然應(yīng)該是要同時(shí)請求多個url,而不是一個一個依次請求,否則不如自己循環(huán)去調(diào)curl_exec好了。
步驟總結(jié)如下:
第一步:調(diào)用curl_multi_init
第二步:循環(huán)調(diào)用curl_multi_add_handle
這一步需要注意的是,curl_multi_add_handle的第二個參數(shù)是由curl_init而來的子handle。
第三步:持續(xù)調(diào)用curl_multi_exec
第四步:根據(jù)需要循環(huán)調(diào)用curl_multi_getcontent獲取結(jié)果
第五步:調(diào)用curl_multi_remove_handle,并為每個字handle調(diào)用curl_close
第六步:調(diào)用curl_multi_close
這里有一個網(wǎng)上找的簡單例子,其作者稱為dirty的例子,(稍后我會說明為何dirty):
復(fù)制代碼 代碼如下:
/*
Here's a quick and dirty example for curl-multi from php, tested on php 5.0.0RC1 CLI / FreeBSD 5.2.1
*/
$connomains = array(
"http://www.cnn.com/",
"http://www.canada.com/",
"http://www.yahoo.com/"
);
$mh = curl_multi_init();
foreach ($connomains as $i => $url) {
     $conn[$i]=curl_init($url);
      curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
      curl_multi_add_handle ($mh,$conn[$i]);
}
do { $n=curl_multi_exec($mh,$active); } while ($active);
foreach ($connomains as $i => $url) {
      $res[$i]=curl_multi_getcontent($conn[$i]);
      curl_close($conn[$i]);
}
print_r($res);

整個使用過程差不多就是這樣,但是,這個簡單代碼有個致命弱點(diǎn),就是在do循環(huán)的那段,在整個url請求期間是個死循環(huán),它會輕易導(dǎo)致CPU占用100%。

現(xiàn)在我們來改進(jìn)它,這里要用到一個幾乎沒有任何文檔的函數(shù)curl_multi_select了,雖然C的curl庫對select有說明,但是,php里的接口和用法確與C中有不同。
把上面do的那段改成下面這樣:
復(fù)制代碼 代碼如下:
do {
                        $mrc = curl_multi_exec($mh,$active);
                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
                while ($active and $mrc == CURLM_OK) {
                        if (curl_multi_select($mh) != -1) {
                                do {
                                        $mrc = curl_multi_exec($mh, $active);
                                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
                        }
                }

因?yàn)?active要等全部url數(shù)據(jù)接受完畢才變成false,所以這里用到了curl_multi_exec的返回值判斷是否還有數(shù)據(jù),當(dāng)有數(shù)據(jù)的時(shí)候就不停調(diào)用curl_multi_exec,暫時(shí)沒有數(shù)據(jù)就進(jìn)入select階段,新數(shù)據(jù)一來就可以被喚醒繼續(xù)執(zhí)行。這里的好處就是CPU的無謂消耗沒有了。

另外:還有一些細(xì)節(jié)的地方可能有時(shí)候要遇到:
控制每一個請求的超時(shí)時(shí)間,在curl_multi_add_handle之前通過curl_setopt去做:
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
判斷是否超時(shí)了或者其他錯誤,在curl_multi_getcontent之前用:curl_error($conn[$i]);

這里我只是簡單使用上述的dirty的例子(足夠用了,并未發(fā)現(xiàn)cpu使用100%的情況)。
對“看點(diǎn)”(kandian.com)某一接口模擬并發(fā),功能是向 memcache中讀數(shù)據(jù)并寫入數(shù)據(jù)。因?yàn)楸C荜P(guān)系,相關(guān)數(shù)據(jù)及結(jié)果就不貼出了。

模擬了3次,第一次10線程同時(shí)請求1000次,第二次,100線程同時(shí)請求1000次,第三次,1000線程同時(shí)請求100次(已經(jīng)相當(dāng)費(fèi)勁了,不敢在設(shè)置超過1000的多線程)。
看來curl多線程模擬并發(fā)還是有一定局限的。

另外還懷疑,可能會因?yàn)槎嗑€程延遲帶來結(jié)果的大誤差,對比數(shù)據(jù)發(fā)現(xiàn)。在初始化和set所用時(shí)間出入不大,差別處在get方法,因此可簡單排除這點(diǎn)~~~

 

php技術(shù)利用curl 多線程 模擬 并發(fā)的詳解,轉(zhuǎn)載需保留來源!

鄭重聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息之目的,如作者信息標(biāo)記有誤,請第一時(shí)間聯(lián)系我們修改或刪除,多謝。

主站蜘蛛池模板: 精品在线视频播放 | 视频一区二区三区在线观看 | 国产成人欧美 | 岛国一级毛片 | www久久精品 | 国内精品在线视频 | 精品久久久久久久久久久久久久久 | 国产欧美亚洲精品综合在线 | 精品国内一区二区三区免费视频 | 深爱五月婷婷 | 欧美日韩亚洲一区二区三区 | 亚洲激情网址 | 午夜小视频在线观看 | 亚洲一区二区免费 | 国产日韩91 | 久久大香线蕉综合爱 | 国内精品久久久久久麻豆 | 久久久影院亚洲精品 | 黄色美女网站免费 | 美女被男人扒开腿猛网站 | 久久丝袜精品综合网站 | 午夜激情在线视频 | 亚洲精品国产综合久久一线 | riav久久中文一区二区 | 亚洲精品国产精品乱码不97 | 日本不卡一区二区三区视频 | 色中文字幕在线 | 国产女同一区二区三区五区 | 99自拍视频在线观看 | 欧美五级在线观看视频播放 | 亚洲午夜视频在线观看 | 国产成人精品免费午夜 | 欧美三级黄 | 午夜在线观看视频 | 色无极影院亚洲 | 国内精品久久久久激情影院 | 国产精品福利资源在线 | 午夜国产 | 欧美天天影院 | 久久香蕉热 | 波多野结衣视频一区二区 |