0

PHP/CURL を使用して (比較的) シンプルな Web スクレイパーを構築しています。PHP を使用するのはこれが初めてです。このコードを ScraperWiki でテストしたところ、問題なく動作しましたが、自分のサーバーで使用しようとしているのですが、実行されていません。simple_html_dom インクルードを削除するとエラー メッセージが表示されるため、スクリプトが読み取られていることはわかっています。しかし、それが含まれていると、500 サーバー エラーが発生します。

ここでトラブルシューティングを開始する場所が本当にわかりません。明らかなエラーがあるかどうかを確認するためにコードを調べていただければ幸いです。現時点では、ページに変数を画面に出力させたいだけなので、正しく機能していることがわかります。次に、それを mysql に接続します。したがって、これは simple_html_dom.php とともにサーバー上のフォルダーにあり、次のコードを含む www.domain.com/folder/index.php にアクセスしてアクセスしています。

<?php
// Include simple html dom
include('simple_html_dom.php');



    // Defining the basic cURL function
    function curl($url) {
        $ch = curl_init();  // Initialising cURL
        curl_setopt($ch, CURLOPT_URL, $url);    // Setting cURL's URL option with the $url variable passed into the function
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); // Setting cURL's option to return the webpage data
        $data = curl_exec($ch); // Executing the cURL request and assigning the returned data to the $data variable
        curl_close($ch);    // Closing cURL
        return $data;   // Returning the data from the function
    }


$allLinks = array();
$counter = 0;

function nextPage($nextUrl){
    global $counter;
    getLinks($nextUrl);

} 

function getLinks($url){    // gets links from product list page   
    global $allLinks;
    global $counter;

    $html_content = curl($url);
    $html = str_get_html($html_content);

    foreach ($html->find("div.views-row a.imagecache-product_list") as $el) { 
        $url = $el->href . "\n";  
        $allLinks[$counter] = 'http://www.uptherestore.com';
        $allLinks[$counter] .= $url;
        $counter++;
    }

    $next = $html->find("li.pager-next a", 0); 
    if( $next != false ) $next = $next->href;

    if (isset($next)) { 
        $nextUrl = 'http://www.uptherestore.com';
        $nextUrl .= $next; 
        nextPage($nextUrl);
    }else{return;}

}

class Product{ //Creates an object class for products
    public $name = '';
    public $infoLink = '';
    public $description = '';
    public $mainImage = '';
    public $moreImages1 = '';
    public $moreImages2 = '';
    public $moreImages3 = '';
    public $moreImages4 = '';
    public $price = '';
    public $designer= '';
}


function getInfo($infoLink){    // Trawls the product pages for info  
    if(!(isset($i)))
        {$i = 0;}



    $the_content = curl($infoLink);
    $the_html = str_get_html($the_content);

    $productName = $the_html->find("#item_info h1", 0)->innertext;

        $products[$productName] = new Product;
        $products[$productName]->name = $productName;
        $products[$productName]->infoLink = $infoLink;
        $products[$productName]->designer = $the_html->find("#item_info h2", 0)->innertext;
        $products[$productName]->description = $the_html->find("#item_info .product-body", 0)->innertext; //Might cause issues because there are multiple <p> tags in this div
        $products[$productName]->mainImage = $the_html->find("#item_image .imagecache-product_item_default", 0)->src;

        $more1 = $the_html->find(".extra_images", 0);
        $more2 = $the_html->find(".extra_images", 1);
        $more3 = $the_html->find(".extra_images", 2);
        $more4 = $the_html->find(".extra_images", 3);

        if (isset($more1)) { 
        $products[$productName]->moreImages1 = $more1->src;
        }
if (isset($more2)) { 
        $products[$productName]->moreImages1 = $more2->src;
        }
if (isset($more3)) { 
        $products[$productName]->moreImages1 = $more3->src;
        }
if (isset($more4)) { 
        $products[$productName]->moreImages1 = $more4->src;
        }
        $products[$productName]->price = $the_html->find(".price", 0)->innertext;

// Store: $infoLink, $description, $mainImage, $moreImages, $price, $designer
echo $products[$productName]->name  . "\n";
echo $products[$productName]->description . "\n";
echo $i;
$i++;
}



getLinks("http://www.uptherestore.com/department/accessories");

foreach ($allLinks as $key => $value) {
  getInfo($value);
}

?>

どんな助けでも大歓迎です。

4

1 に答える 1

1

唯一のフィードバックが内部サーバー エラーである場合、何が問題なのかを判断するのは非常に困難です。error_log 呼び出しまたは echo/print をいくつか入れて、どの時点で実行が停止したかを調べてみます。

ただし、変数を次の結果にif (isset($more1)) { 設定するときにチェックしていることに気付きました$more$the_html->find

単純なhtml domパーサーのfindメソッドのドキュメントを見ると、要素が見つからない場合はnullが返されるため、チェックはif (!is_null($more1)) {

問題が解決するかどうかはわかりますが、解決しない場合は、ログを記録するか、サーバー/php ログを確認することをお勧めします。

于 2013-04-29T10:54:47.697 に答える