Yahoo、Google、Yandex、Bing Ahrefs などのすべてのサイトが同時にインデックスに登録され、Web サイトが停止してしまうという問題が、多くのサイトで発生しています。
ソース IP をブロックするように fail2ban を構成しましたが、これらは永久に変化するため、理想的ではありません。robots.txt も使用してみましたが、ほとんど違いはありません。
サイトをcloudflareの背後に置いてみましたが、これもほとんど違いがなく、できることはソースIPをブロックすることだけです.
他に何ができますか？
現在、サイトが応答しなくなったときに nginx を再起動する Nagios でサイトを監視していますが、これは理想とはほど遠いようです。
nginx を実行している Ubuntu サーバー
robots.txt ファイルは次の場所にあります:-
User-agent: *
Disallow: /
開発者に試してもらうことができる何かがある場合に備えて、ここに投稿します。
ありがとう