ruby-on-rails - Googleクロールエラー-到達不能エラー

Question

私のサイトはGoogleウェブマスターに対して正常に検証されました。robot.txtを使用したクローラーアクセスも200（成功）です。ただし、「クロールエラー」をチェックすると、ドメインのメインページ自体を含め、ほぼすべてのページが「到達不能」になっています。エラーなしでクロールされる唯一のページは、添付ファイル/ファイルページ（pdf、xls、jpgなど）です。これは本当に奇妙です。

私のWebは、RubyonRailsとMySQLデータベースを使用して作成されています。

Answer 1

ページのレンダリングに時間がかかりますか? ページの応答に時間がかかりすぎると、Google のクローラーが諦めてしまうのではないかと思います。高価で、ユーザー関連のコンテンツや動的なコンテンツを含まない公開ページの前に Varnish を配置することを検討してください。