c# - eコマースWebサイトをスキャンし、製品の写真+価格+説明を抽出するC＃プログラムを作成する

Question

私はあなたが多くのeコマースウェブサイトで製品を検索することを可能にするeコマース検索エンジンを開発しています。

どうすれば問題に取り組むことができますか？

Webサイトをスキャンし、HTMLを解析して、Webサイト内のどの画像が製品画像であるか、製品の説明であるか、製品の価格であるかを判別できるアプリケーションが必要です。

どんなアイデア、例でも聞いてうれしいです。

前もって感謝します。

編集：私の質問は、WebサイトからHTMLを取得する方法（スクリーンスクレイピングと呼ばれます）ではなく、その情報を解析して、探している実際のデータが含まれているHTMLと含まれていないHTMLを理解する方法についてです。

score 2 · Accepted Answer

このスレッドはあなたの探求に役立つかもしれません。そこで基本的な手順を概説しました。SOで「スクリーンスクレイピング」とタグ付けされたすべての質問へのリンクは次のとおりです。また、ウェブ上のたくさんの資料-グーグル。

score 1 · Accepted Answer

スクレイピングするサイトのほとんど（より正確にはWebスクレイピング）には、「リセラー」タイプの取引用のパートナーAPIがあります。スクリーンスクレイピングでそれを回避すると、IPがトラフィックサーバーによってブロックされていることがすぐにわかり、法的な状況に陥る可能性があります。

これはせいぜい倫理的に疑わしいです。

2 に答える 2