web-crawler - Bing が不定期にトラフィックでサイトを圧倒するのを防ぐにはどうすればよいですか?

Question

Bingbot は、私のサイトに毎日 2 時間ほど頻繁にアクセスし、残りの時間は非常に軽くなります。

クロールをスムーズにするか、レート制限を下げるか、完全にブロックしたいと思います。実際の訪問者を実際に送信することはありません。

クロールをスムーズにしたり、速度を制限したりする方法はありますか?

score 23 · Accepted Answer

彼らのウェブマスターブログには、bingbot を調整するために robots.txt ファイルにクロール遅延パラメーターを追加することをサポートしていると書かれています。

User-agent: msnbot
Crawl-delay: 1

ウェブマスター FAQ PDFにもう少し説明があります

score 0 · Accepted Answer

次のように IPTables を設定することで、クローラーからの接続数を fi 5 に制限できます (ファイアウォールへのルートアクセスが必要です)。

IPTables の設定: iptables -I INPUT -p tcp -m connlimit --connlimit-above 5 -j REJECT

これにより、各 IP アドレスからの接続が最大 5 つの同時接続に制限されます。この種の「配給」接続は、クローラーが同時にサイトにアクセスするのを防ぎます。

score 0 · Accepted Answer

HTACCESS を使用して彼の IP を禁止できます。

order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all

詳細については、こちらを参照してください:ボットのブロックに関するブログ

3 に答える 3