0

PHP と cURL を使用して、単一の Web サイト ページの html をスクレイピングしています。実験の結果、自分のコードは で 10 個以下の URL を指定した場合にのみ機能することがわかりました$nodes array(コード サンプルを参照)。一度に約 100 ページをスクレイピングし、ソース コードをファイルに保存する必要があります。これは、cURLS 組み込み関数の 1 つを使用して実現できますか?

現時点で使用しているコードは次のとおりです。

function getHTML(){

$nodes = array(

'http://www.example.com/page1.html',
'http://www.example.com/page2.html',
'http://www.example.com/page3.html',
'http://www.example.com/page4.html',
'http://www.example.com/page5.html',
'http://www.example.com/page6.html',
'http://www.example.com/page7.html',
'http://www.example.com/page8.html',
'http://www.example.com/page9.html',
'http://www.example.com/page10.html',
'http://www.example.com/page11.html',
'http://www.example.com/page12.html',
'http://www.example.com/page13.html',
'http://www.example.com/page14.html',
'http://www.example.com/page15.html',
'http://www.example.com/page16.html',
'http://www.example.com/page17.html',
'http://www.example.com/page18.html',
'http://www.example.com/page19.html',
'http://www.example.com/page20.html' ...and so on...

);


$node_count = count($nodes);

$curl_arr = array();
$master = curl_multi_init();

for($i = 0; $i < $node_count; $i++)
{
    $url =$nodes[$i];
    $curl_arr[$i] = curl_init($url);
    curl_setopt($curl_arr[$i], CURLOPT_RETURNTRANSFER, true);
    curl_multi_add_handle($master, $curl_arr[$i]);
}

do {
    curl_multi_exec($master,$running);
} while($running > 0);

echo "results: ";
for($i = 0; $i < $node_count; $i++)
{
    $results = curl_multi_getcontent  ( $curl_arr[$i]  );
    echo( $i . "\n" . $results . "\n");
echo 'done';

file_put_contents('SCRAPEDHTML.txt',$results, FILE_APPEND);

}
}

前もって感謝します

4

3 に答える 3

0

プロジェクトでcurlライブラリをローリングしてみました。参考になれば幸いです。

http://code.google.com/p/rolling-curl/source/browse/trunk/RollingCurl.php

于 2012-10-22T12:11:42.517 に答える
0

PHPの実行時間が超過したと思います。「set_time_limit(300);」を挿入してみてください。関数getHTMLを含むphpファイルの上部にあります。「300」という数字は、この php の実行時間が 300 秒であることを意味します。

于 2012-10-22T12:01:15.990 に答える
0

配列を 10 個のチャンクにスライスし、curl_multiループを複数回実行します

$perRequest = 10;
for($i = 0; $i < count($nodes); $i += $perRequest)
{
    $currentNodes = array_slice($nodes, 0, $perRequest);

    // Normal curl_multi code using $currentNodes
}
于 2012-10-22T11:46:19.040 に答える