オプションでIDをGETパラメーターとして受け取ることができるページがあります。無効なIDが指定された場合、ページはエラーをスローし、誰かがページに誤ってアクセスしているという通知を送信します。火に燃料を追加すると、IDはしばらくの間有効になり、その後期限切れになる可能性があります。
検索エンジンボットが古い期限切れのIDでページにアクセスするという問題が発生しています。これは、スパイダーが発生するたびに「誤検知」アラートが大量に発生することを意味します。ボットに先に進んでページをクロールするように指示する方法が欲しいのですが、GETパラメーターは使用せず、パラメーターのないページにインデックスを付けるだけです。これは、robots.txtファイルなどを使用してリモートで実行することもできますか？
注：これを解決する最善の方法はページの動作を変更することであり、実際には数週間で発生します。当面の間、解決策を探しています。