在使用phpQuery采集網頁時,遇到一個問題:在處理大量網頁之后,phpQuery占用的內存數量非常驚人(很快就超過了1G),
比如這段代碼:
復制代碼 代碼如下:
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 處理網頁元素...
echo memory_get_usage() . "/n";
}
謹慎運行上面這段代碼,它會很快用光你的內存。
經過查看phpQuery的源代碼終于發現了問題所在,phpQuery在每處理一個網頁就會產生一個DOMDocumentWrapper 對象,而每個DOMDocumentWrapper 對象會被保存在靜態成員$documents中(phpQuery::createDocumentWrapper中),這個變量是一個數組,每解析一個網頁數組元素就增加一個。
phpQuery::$documents[$wrapper->id] = $wrapper;
找到問題后,解決就很容易了,每次解析完一個網頁,把phpQuery::$documents置空即可。
復制代碼 代碼如下:
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 處理網頁元素...
phpQuery::$documents = array();
echo memory_get_usage() . "/n";
}
內存占用穩定了。
php技術:phpQuery占用內存過多的處理方法,轉載需保留來源!
鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。