ボットがサイトを圧倒したために CPU 使用率が突然 400% を超えた後、次のように robots.txt を作成し、ルートにファイルを配置しました (例: 「www.example.com/」)。
User-agent: *
Disallow: /
現在、Google はこのファイルを尊重しており、Google のログ ファイルにはこれ以上記録がありません。ただし、BingBot と BaiduSpider はまだログに表示されます (そしてたくさんあります)。
CPU使用率と帯域幅が大幅に増加し、ホスティングプロバイダーがアカウントを一時停止しようとしていたため、最初にすべてのページを削除し（厄介なスクリプトがあった場合に備えて）、クリーンなページをアップロードし、IPアドレスを介してすべてのボットをブロックしました. .htaccess & 次に、その robots.txt ファイルを作成しました。
正しい手順を実行したことを確認するために、あらゆる場所を検索しました (.htaccess の「書き換え」オプションはまだ試していません)。
私がしたことが仕事をするべきであることを誰かが確認できますか? (このベンチャーを始めてから、私の CPU 使用率は 6 日以内に 120% まで下がりましたが、少なくとも IP アドレスをブロックすることで、CPU 使用率は通常の 5 ～ 10% まで下がったはずです)。