Google Bot Crawler が、本番環境のサイトに存在しない CSS ファイルを常にクロールしようとしています。
次のことを求めます。
http://www.mywebsite.com/assets/index-d45678283d4ab9905c3538184826e599.css
この正確なファイル名は本番環境には存在しません (本番環境にはわずかに異なるファイル名があります)。
ただし、要求している CSS ファイルは開発中の次の場所に存在します。
http://localhost:3000/assets/index-d45678283d4ab9905c3538184826e599.css
なぜこのファイルを求めているのかわかりません。
Capistrano (load "deploy/assets") を使用して、本番環境にデプロイする前にアセットをプリコンパイルします。
今のところ、robots.txt でこのファイルをブロックするだけですが、リクエストする css ファイルはデプロイごとに変更されます。
実稼働サイトに存在しないこのファイルを GoogleBot がクロールしようとするのはなぜですか? どうすれば止められますか？