私は URL 短縮サービスを開発していますが、現在の仕様では、Facebook がこれらのリンクをスクレイピングしないようにする必要があります。代わりに、統合されたスクレイパーがそれを行い、og メタ タグを Facebook に引き渡します。通常のユーザーが見るものとは異なるコンテンツ (たとえば、opengraph メタ タグのみを含む空のページ) でスクレイパーに返信することを許可しない Facebook 用語はありますか?
前もって感謝します。
質問する
1583 次
1 に答える
4
私は自分のサイトでこれをやっただけです。非モバイル デバイスを別のページにリダイレクトしていますが、モバイル デバイスが取得するコンテンツを Facebook スクレーパーで取得したいと考えています。
これは私が得るユーザーエージェントです:
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
したがって、このような通常のパターンと照合すると、Facebook スクレーパーが検出されます。
/^(facebookexternalhit.*)/
前述のように、このユーザー エージェントは簡単に偽装できますが、私の場合は問題ありません。
Facebook がクロール スクリプトのユーザー エージェントを変更した場合にのみ、問題が発生する可能性があります。
于 2012-10-02T13:34:53.240 に答える