製品の価格を比較するために定期的にチェックする Web サイトがいくつかあります。Atm 製品の詳細 (価格) を取得するには、手動でログインし、すべての Web サイトで製品 ID で検索する必要があります。
これは時間がかかり、しばらくすると退屈になります。
ログイン資格情報を使用してこれらすべての Web サイトにアクセスできる Web アプリケーションを作成することを考えていました。製品 ID を入力するだけで、Web アプリケーションはそれらの Web サイトからすべての結果を取得し、比較可能な方法で表示する必要があります。
これらの Web サイトに API があるとは思わないので、これにアプローチする最善の方法を探しています。ログインして製品を検索する必要があるため、それほど単純ではないと思います。
これを達成する方法に関する推奨事項はありますか?
ありがとう！
マーク B のコメントに +1。TOS で明示的に禁止されていない場合 (これもクローラーと見なされるため) /robots.txt、製品検索へのアクセスが禁止されているかどうかを確認する必要があります。どちらも禁止されていない場合は、ブラウザベースのボットを使用して結果を取得することをお勧めします。これは、より実用的で、Cookie を処理する必要がないためです。
ただし、PHP でページ リクエストを作成する場合は、HttpRequestを参照してください。(ログイン スクリプトで POST 要求を使用して) すべてのサイトにログインできるページを用意し、返されたセッション Cookie を手元に置いておきます。製品ページを検索するとき、HTML のどの部分がその後に一貫して製品のリストを返すかを特定し (正規表現が役立つ場合があります)、次の情報を返すアルゴリズム (スクレイピングする Web サイトごとに異なるはずです) を作成します。製品。それでは結果を比較！