私のApacheエラーログでは、次のエラーが毎日膨大な量で発生していることがわかります.
[Tue Jan 15 13:37:39 2013] [error] [client 66.249.78.53] Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace.
アクセスログで対応するIP、日付、時刻を確認すると以下のように表示されます
66.249.78.53 - - [15/Jan/2013:13:37:39 +0000] "GET /robots.txt HTTP/1.1" 500 821 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Google Webmster ツール -> ヘルス -> ブロックされた URL で robot.txt ファイルをテストしましたが、問題ありません。
また、ボットによってアクセスされた一部の画像は、次のエラーをスローします。
エラーログ
[Tue Jan 15 12:14:16 2013] [error] [client 66.249.78.15] Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace.
Accessed_URL
66.249.78.15 - - [15/Jan/2013:12:14:16 +0000] "GET /userfiles_generic_imagebank/1335441506.jpg?1 HTTP/1.1" 500 821 "-" "Googlebot-Image/1.0"
実際、上記の画像 URL (およびアクセス ログにある他のいくつかの画像) は当サイトでは利用できず (これらは 2012 年 8 月に行った Web サイトの改修前に利用可能でした)、それらの無効なリソースにアクセスすると 404 エラーがスローされました。
ただし、存在しない画像や robots.txt ファイルなどの静的リソースに対してのみ、ボット (および人間の訪問者) がアクセス/エラー ログでこの種のエラーを生成することがあります。サーバーは 500 エラーをスローしますが、実際にブラウザーから試してみると、画像は 404 で、robots.txt は 200 (成功) です。
なぜこれが起こっているのか、なぜ有効な robot.txt と無効な画像が 500 エラーをスローするのかはわかりません。.htaccess ファイルはありますが、別のログがあるため、(Zend フレームワーク) アプリケーションに到達していないことは確かです。そのため、サーバー自体 (or.htaccess) が「たまに」500 エラーをスローしており、その理由がわかりません。サーバーへのリクエストが多すぎることが原因である可能性がありますか、またはこれをさらにデバッグするにはどうすればよいですか?
これらのエラーに気付いたのはデザインの刷新後でしたが、Web サーバー自体は同じままでした。