0

サーバー上にリンクされた仕様ファイルを使用してGoogleカスタム検索エンジン(CSE)を作成すると、Googleの「FeedFetcher-Google-CoOp」ボットがCSEを構築するためにそのファイルを要求します。結果がユーザーに返され、仕様ファイルが使用されなくなった後でも、Googleは少なくとも数日間定期的にポーリングを続けているようです。

私の質問は、CSEコードによる要求が停止した後、Googleがファイルのポーリングを継続する期間と、ファイルをすぐに停止する方法があるかどうかです。

(各クエリに固有の動的にリンクされたCSEを作成しました。つまり、多くの仕様ファイル(毎回異なるGET引数を持つ同じスクリプト)が要求されました。それらを使用しなくなったため、FeedFetcher-Google-CoOpは続行します。過去のさまざまな引数を使用してこのスクリプトを要求します。

FeedFetcher-Google-CoOpはrobots.txtを無視します。現在、410:Gone for all requestsを返していますが、要求されているバージョンが非常に多いため(つまり、/script.php?query=)、これが効果があるかどうかを判断するのは困難です。理想的には、引数に関係なく、script.phpが存在しないことをGoogleに伝える方法がありますが、robots.txtがないと、そうする方法を見つけることができません。

TL; DR:1)Googleは最終的にこのスクリプトを独自に要求することをやめますか?もしそうなら、いつ?2)すぐにリクエストを停止する方法はありますか?

4

1 に答える 1

0

そのままにしておくと、Googleはこれらのファイルを無期限に(少なくとも数か月間)要求し続けるようです。410(なくなった)応答を無視しますが、301リダイレクトを尊重しているようです!したがって、Googleが古いCSE仕様を要求しようとするのを防ぐために、それらをnullファイルに301リダイレクトすることができます。Googleは、キャッシュした引数のセットごとにファイルへのアクセスを再試行する可能性がありますが、その後は試行を停止する必要があります。

于 2013-04-16T20:24:24.303 に答える