短い話:
私のサイトは、ユーザーが送信したデータに基づいてページを事前に生成します。一度に生成される統計の量を制御しない限り
、このキャッシュをクリアする必要がある場合があります。
問題:
検索エンジン ボットが常にサイトにアクセスするようになりました (膨大な量のページが原因で、検索エンジン ボットがクロールするページはかなり一定しています)。ここでの問題は、彼らが私の「生成」スロットをすべて使い果たし、実際のユーザーには「bla bla, please wait」というページが残されることです。
考えられる解決策: 基本的
に、ボットに 503 を返すことはできますか?
または、誰かが他の解決策を思いつきましたか？