私のサイトでは、いくつかの積極的なキャッシュ手法を使用して、リクエストを最小限に抑えています。その中には、次のものがあります。
- .htaccessはキャッシュされたHTMLファイルにリダイレクトします。
- コンテンツ画像のCSSスプライトへの自動マージ。
これは人のトラフィックには最適ですが、Facebook、Pinterest、Google +、Redditなどに記事が投稿されると、ページ画像はすべて大きなスプライトJPEGであるため、ボットは適切なサムネイルを見つけることができません。
1つの解決策は、ボットがリクエストを行っているときにキャッシュをバイパスする.htaccessルールです。できれば、考えられるすべてのボットユーザーエージェントに具体的に名前を付ける必要はありません。私はそれを達成する方法がわかりません。
もう1つの解決策は、ボットがダウンロードするすべてのページに1つの優れたサムネイル画像を埋め込むことですが、実際のWebブラウザーはそうではありません。それを達成する方法はありますか?
他の提案も歓迎します。他のすべてが失敗した場合は、スクリプトを作り直して、すべての投稿の最初の画像をオートスプライトから除外しますが、それにより、過労のサーバーが対応しなければならない画像リクエストの数が実質的に2倍になります。