web-crawler - 404 エラーを引き起こす Bingbot

Question

最近、Bing Web クローラーから作成された多数の 404 エラーが確認されています。IP が実際に Bing マシンであることを確認しましたが、彼らが試行している URL を試行している理由がわかりません。robots.txt ファイルを使用して、サイトをまったくクロールしないように指示したくはありませんが、同時に、存在しないページを要求し続けたくありません。Bing が特定の URL をどこから取得しているかを知る方法はありますか? を使用して Google を検索して[link:www.mywebsite.com/pagename/]みましたが、サイトに不適切な URL があるのではなく、ボットが想定外のことを行っていると思われるものは何も見つかりませんでした。