0

私は、世界中の別のより大きな e コマース Web サイトからの製品のリストを表示している e コマース ポータルの多くを見てきました。

phpでfile_get_contentsまたはCURLを使用することにより、フェッチは大きな問題ではないと思いますが、問題は、

他の人がデータ/製品情報を取得できるようにする API を提供していますか?

彼らのサイトからデータを取得するには、彼らの許可を得る必要がありますか?

(CURL と file_get_contents の代わりに) サイトに表示するデータを取得するエレガントで具体的な方法/方法はありますか?

4

3 に答える 3

1

この件に関する一般的なガイドラインを次に示します。

  • サイトの一部の領域をスパイダーする許可を拒否する robot.txt ファイルがあるかどうかを確認する必要があります。
  • コンテンツの複製には著作権の問題がありますが、検索エンジンは常にサイト コンテンツの抜粋を公開しています。したがって、コンテンツの複製は、ある程度、法的に認められています。
  • API が利用できる場合もありますが、検索エンジンは常にサイトを無断でスクレイピングします (おそらく robot.text ファイルを除く)。
  • 帯域幅に関するサイト所有者の希望を尊重してください。ロボットのコードが適切に記述されていないと、サーバー リソースが無駄に占有される可能性があります。
  • 許可が取れれば尚良し。

私は cURL とDomDocument クラスを使用しています。エレガンスに関して他に何が欲しいのかわかりません。

于 2013-06-28T06:51:21.923 に答える
1

一部の Web サイトでは、データにアクセスするための API が提供されています。有料のものもあれば、無料のものもあります。いずれにせよ、はい、許可が必要です。

しかし、許可なくいつでも彼らのサイトをスクレイピングすることができます.

于 2013-06-28T05:54:29.977 に答える
0
  1. これらの Web サイトから必要なすべてのデータを取得するクローラーを作成します。
  2. 提供されている場合は API を使用します。ただし、通常は費用がかかります。
  3. サードパーティ ソフトウェアを使用して独自の API を作成します。
于 2016-10-12T08:52:51.183 に答える