オープングラフリリースの準備をしています。
オープングラフの機能の1つは、サイトのメタデータをクロールし、タイムラインに関連する情報を取得することです。
私のsitemap.xmlはギグに遭遇し、GooglebotやSlurpなどの人気のあるクローラーのレート制限とIPホイットリストによって保護されています。
Facebookをクロールするロボットの名前とIPを誰かに渡してもらえますか?これはsitemap.xmlだけでなく、一般的なレート制限(サイト全体)のホワイトリストにも当てはまります。
1862 次
1 に答える
5
現在のユーザーエージェントは次のとおりです。facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
FacebookはここでIP範囲を公開しています。
于 2011-10-01T14:38:03.363 に答える