ユーザー エージェントがリファラーを送信していないときに、壊れた URL にリンクしているページを見つけるにはどうすればよいですか?
私のサイトでは、この URL に対して 1 日あたり 100 件以上のリクエストを受け取っています: /controls/WebService/WebService.asmx
...しかし、実際の URL は次のとおりです: /WebService/WebService.asmx
URL を別の URL に書き換えることもできますが、「コントロール」の参照がどこから入ってくるかを把握したいと思います。Web サービスを使用するいくつかのコントロールを含む、それと呼ばれるフォルダーがありますが、ソースを表示すると、 、「/controls/」フォルダーについての言及はありません...通常、404のElmahログにはリファラーは表示されませんが、表示された場合でも、WebサービスへのURLとしてページに問題は見られませんページは正しいです。
このサイトで 3 つの異なるクローラーを実行しましたが、問題はまったく検出されなかったので、JavaScript などを解析 (または実行) するインテリジェンスを備えた何かが原因であると思われます。「controls」フォルダーが実際に存在するという事実は、単にクローラー ソフトウェアのバグではなく、どこかに本物のエラーがある可能性が高いと私に思わせます。