コンテンツを公開インデックスに登録してはならないアプリがあります。そのため、すべてのクローラーへのアクセスを禁止しました。
robots.txt:
# Robots shouldn't index a private app.
User-agent: *
Disallow: /
しかし、Bing はこれを無視しており/trafficbasedsspsitemap.xml、私が作成する必要のないファイルを毎日要求しています。
また、このファイルの 404 エラー通知を毎日受け取る必要もありません。bingbot を削除したいのですが、リクエストを禁止するにはどうすればよいですか?