私は仕事で頻繁に旅行し、kayak.com を頻繁に訪れます。カヤックがこれらすべての Web サイトの検索とスクレイピングをどのように達成できるかを考えさせられました。
ロードされた HTML ページからデータを取得することは理解できますが、エンド ユーザーが Expedia のサイトを表示することなく、たとえば Expedia.com のバックエンド検索をどのように実行するのでしょうか?
私は仕事で頻繁に旅行し、kayak.com を頻繁に訪れます。カヤックがこれらすべての Web サイトの検索とスクレイピングをどのように達成できるかを考えさせられました。
ロードされた HTML ページからデータを取得することは理解できますが、エンド ユーザーが Expedia のサイトを表示することなく、たとえば Expedia.com のバックエンド検索をどのように実行するのでしょうか?
私はこのようなメタ検索を何十も構築しました。いくつかのオプションがあります:
Actually depending on affiliate marketing channels for your SQL Results is not a good idea. I would find a way to bulk insert the data on your end and build a search engine around the data feed results. Your dependence on others will affect the quality of a site your building.
Also think of it like a CAR, the more options you add to it the more there is to break.
Checkout Avoli.com.