Web サイトで次のエラーが頻繁に発生します。
「これは無効なスクリプト リソース リクエストです。」
スパイダーが/ScriptResource.axdまたは/WebResource.axdをクロールしようとすると、エラーが発生します。
robots.txt でこれらのファイルを許可しないと問題なく動作します (ここで TheLukeMcCarthy が提案したように)。
ユーザーエージェント: *
許可しない: /WebSite/ScriptResource.axd 許可し
ない: /WebSite/WebResource.axd
これは、robots.txt を (乱暴に) 無視する Websense のようなサービスでは機能しないと考えられていました。
Websense がそれらのファイルをクロールしようとするのを止める方法はありますか?
サイトは ASP.NET と HTML5 を使用して開発され、IIS7 でホストされています。
前もって感謝します！