8

私は何人かの友人のために簡単なアラートアプリを作成しようとしています。

基本的に、次の2つのようなWebページからデータ「価格」と「在庫状況」を抽出できるようにしたいと思います。

私は電子メールとSMSの部分でアラートを作成しましたが、利用可能な価格と数量を比較してアラートを送信できるように、Webページ（2つまたは他のページ）から数量と価格を取得できるようにしたいと思います。製品がいくつかのしきい値の間にある場合に注文するため。

私はいくつかの正規表現を試しましたが（いくつかのチュートリアルで見つかりましたが、私はこれにはあまりにもn00bです）、これを機能させることができませんでした、良いヒントや例はありますか？

4

6 に答える 6

32 
$content = file_get_contents('http://www.sparkfun.com/commerce/product_info.php?products_id=9279');

preg_match('#<tr><th>(.*)</th> <td><b>price</b></td></tr>#', $content, $match);
$price = $match[1];

preg_match('#<input type="hidden" name="quantity_on_hand" value="(.*?)">#', $content, $match);
$in_stock = $match[1];

echo "Price: $price - Availability: $in_stock\n";
于 2010-01-07T11:58:59.420 に答える
8

グーグルで検索する必要がある場合に備えて、スクリーンスクレイピングと呼ばれます。

代わりに、domパーサーとxpath式を使用することをお勧めします。最初にHtmlTidyを介してHTMLをフィードし、有効なマークアップであることを確認します。

例えば：

$html = file_get_contents("http://www.example.com");
$html = tidy_repair_string($html);
$doc = new DomDocument();
$doc->loadHtml($html);
$xpath = new DomXPath($doc);
// Now query the document:
foreach ($xpath->query('//table[@class="pricing"]/th') as $node) {
  echo $node, "\n";
}
于 2010-01-07T12:01:31.210 に答える
5

何をするにしても：HTMLを解析するために正規表現を使用しないでください。そうしないと、悪いことが起こります。代わりにパーサーを使用してください。

于 2010-01-07T11:33:10.703 に答える
2

HTMLコードをこのようなDOMパーサーにロードし、「価格設定」テーブルを検索するのがおそらく最善です。ただし、あなたが行うあらゆる種類のスクレイピングは、ページレイアウトを変更するたびに壊れる可能性があり、おそらく彼らの同意なしに違法です。

ただし、最善の方法は、サイトを運営している人々と話をして、彼らが代替のより信頼性の高い形式のデータ配信（Webサービス、RSS、またはデータベースのエクスポートが思い浮かぶ）を持っているかどうかを確認することです。

于 2010-01-07T11:37:57.547 に答える
2

第一に、この質問をすることはあまりにも詳細になります。第二に、ウェブサイトからデータを抽出することは合法ではないかもしれません。ただし、ヒントがあります。

  1. FirebugまたはChrome/Safari Inspectorを使用して、HTMLコンテンツと興味深い情報のパターンを調べます

  2. 正規表現をテストして、一致するかどうかを確認します。何度も行う必要があるかもしれません（マルチパス解析/抽出）

  3. cURLまたはさらに簡単な方法でクライアントを作成するには、file_get_contentsを使用します（一部のホスティングでは、file_get_contentsを使用したURLの読み込みが無効になっていることに注意してください）

私の場合、RegExの代わりに、Tidyを使用して有効なXHTMLに変換してから、XPathを使用してデータを抽出する方がよいでしょう。なんで？XHTMLは規則的ではなく、XPathは非常に柔軟だからです。XSLTを変換する方法を学ぶことができます。

幸運を！

于 2010-01-07T11:43:24.247 に答える
0

ウェブサイトからデータを抽出する最も簡単な方法。すべてのデータがタグ内でのみカバーされていることを分析した<h3>ので、これを用意しました。

<?php
    include(‘simple_html_dom.php’);
        // Create DOM from URL, paste your destined web url in $page 
        $page = ‘http://facebook4free.com/category/facebookstatus/amazing-facebook-status/’;
        $html = new simple_html_dom();
        
       //Within $html your webpage will be loaded for further operation
        $html->load_file($page);
        
        // Find all links
        $links = array();
        //Within find() function, I have written h3 so it will simply fetch the content from <h3> tag only. Change as per your requirement.
       foreach($html->find(‘h3′) as $element) 
        {
            $links[] = $element;
        }
        reset($links);
        //$out will be having each of HTML element content you searching for, within that web page
        foreach ($links as $out) 
        {
            echo $out;
        }                
    
?>
于 2012-11-05T16:31:16.543 に答える