0

月に 3MM の UV を記録している Beso.com のサイトは、Facebook のクローラー/スクレイパーに 1 日に何度も攻撃され始め、サイトのパフォーマンスが大幅に低下しています。私たちは最近オープン グラフを実装し、Facebook Connect とともに、私たちのサイトでかなりの量の共有といいねを奨励しています。

FB が情報をスクレイピングするために私たちのサイトにアクセスする必要があることは理解していますが、クローリングの速度を抑えるためにどうしても必要です。そうしないと、FB を完全にブロックせざるを得なくなります。これは、私たちが望んでいる解決策ではありません。

このサイトの FB から適切なチーム メンバーにつなげてくれる人、または以前にこの問題と戦った実績のあるサイトの誰かがいますか?

ありがとう。

4

1 に答える 1

1

Facebook は 1 日に 1 回、開いているグラフ オブジェクトをスクレイピングします。サイトが過剰にスクレイピングされる理由として 2 つの可能性が考えられます...

1) グラフを開くアクションを実装するアプリがあります。そのアプリを作成したプログラマーは、誤ってスクレイプ オプション パラメーターを永続的にtrueに設定しました。こちらをご覧ください: https://developers.facebook.com/docs/opengraph/actions/

2) 1 つのページ ( 1 つの開いているグラフ オブジェクトである必要があります) に複数の URL が含まれているため、Facebook は同じ資料を何度も再スクレイピングしています。

于 2012-07-30T22:09:35.173 に答える