URLを使用して製品の詳細を取得する方法はありますか、それとも可能ですか. Walmart や bestbuy などのストアから商品の URL を貼り付けたとします。商品情報 (価格、名前、情報など) を取得するために何かを書くことは可能でしょうか? これは存在しますか? それとも、これは特定の店舗ごとに書くことができるサイト固有のものでなければなりませんか?
3 に答える
2
私が見る 1 つの解決策は、たとえばTikaを使用して、URL がリダイレクトするページの HTML コードを解析することです:)。製品データにアクセスするための API?
于 2012-06-14T21:35:50.617 に答える
1
はい、可能ですが、same-origin-policyにより JavaScript を使用できません。その URL をサーバーに送信し、サーバー側でその外部ページを読み取り、結果をサーバーに返す必要があります。
サーバー側で (使用している言語に関係なく) Web ページをダウンロードし、解析して (可能であればxml / xpathを使用)、関連情報を抽出します。
すでに述べたように、一部の Web サイトはそのようなアクセス (Web スクレイピングと呼ばれます) を禁止していますが、偽のクライアントを発見するなどして積極的に阻止しようとする Web サイトもあります。
于 2012-06-14T21:35:14.967 に答える
1
あなたが話しているのはウェブサイトのスクレイピングです。はい、それは可能であり、それを支援するツールがたくさんあります. ただし、一部のWebサイトは、あなたがそれを行うことに満足していません.
C# で HttpWebRequest クラスを使用して URL からデータを要求し、それを XmlReader やhttp://html-agility-pack.net/などで解析できます。
于 2012-06-14T21:36:51.627 に答える