サーバー上にリンクされた仕様ファイルを使用してGoogleカスタム検索エンジン(CSE)を作成すると、Googleの「FeedFetcher-Google-CoOp」ボットがCSEを構築するためにそのファイルを要求します。結果がユーザーに返され、仕様ファイルが使用されなくなった後でも、Googleは少なくとも数日間定期的にポーリングを続けているようです。
私の質問は、CSEコードによる要求が停止した後、Googleがファイルのポーリングを継続する期間と、ファイルをすぐに停止する方法があるかどうかです。
(各クエリに固有の動的にリンクされたCSEを作成しました。つまり、多くの仕様ファイル(毎回異なるGET引数を持つ同じスクリプト)が要求されました。それらを使用しなくなったため、FeedFetcher-Google-CoOpは続行します。過去のさまざまな引数を使用してこのスクリプトを要求します。
FeedFetcher-Google-CoOpはrobots.txtを無視します。現在、410:Gone for all requestsを返していますが、要求されているバージョンが非常に多いため(つまり、/script.php?query=)、これが効果があるかどうかを判断するのは困難です。理想的には、引数に関係なく、script.phpが存在しないことをGoogleに伝える方法がありますが、robots.txtがないと、そうする方法を見つけることができません。
TL; DR:1)Googleは最終的にこのスクリプトを独自に要求することをやめますか?もしそうなら、いつ?2)すぐにリクエストを停止する方法はありますか?