0

私のApacheエラーログでは、次のエラーが毎日膨大な量で発生していることがわかります.

[Tue Jan 15 13:37:39 2013] [error] [client 66.249.78.53] Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace.

アクセスログで対応するIP、日付、時刻を確認すると以下のように表示されます

66.249.78.53 - - [15/Jan/2013:13:37:39 +0000] "GET /robots.txt HTTP/1.1" 500 821 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Google Webmster ツール -> ヘルス -> ブロックされた URL で robot.txt ファイルをテストしましたが、問題ありません。

また、ボットによってアクセスされた一部の画像は、次のエラーをスローします。

エラーログ

[Tue Jan 15 12:14:16 2013] [error] [client 66.249.78.15] Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace.

Accessed_URL

66.249.78.15 - - [15/Jan/2013:12:14:16 +0000] "GET /userfiles_generic_imagebank/1335441506.jpg?1 HTTP/1.1" 500 821 "-" "Googlebot-Image/1.0"

実際、上記の画像 URL (およびアクセス ログにある他のいくつかの画像) は当サイトでは利用できず (これらは 2012 年 8 月に行った Web サイトの改修前に利用可能でした)、それらの無効なリソースにアクセスすると 404 エラーがスローされました。

ただし、存在しない画像や robots.txt ファイルなどの静的リソースに対してのみ、ボット (および人間の訪問者) がアクセス/エラー ログでこの種のエラーを生成することがあります。サーバーは 500 エラーをスローしますが、実際にブラウザーから試してみると、画像は 404 で、robots.txt は 200 (成功) です。

なぜこれが起こっているのか、なぜ有効な robot.txt と無効な画像が 500 エラーをスローするのかはわかりません。.htaccess ファイルはありますが、別のログがあるため、(Zend フレームワーク) アプリケーションに到達していないことは確かです。そのため、サーバー自体 (or.htaccess) が「たまに」500 エラーをスローしており、その理由がわかりません。サーバーへのリクエストが多すぎることが原因である可能性がありますか、またはこれをさらにデバッグするにはどうすればよいですか?

これらのエラーに気付いたのはデザインの刷新後でしたが、Web サーバー自体は同じままでした。

4

1 に答える 1

1

クライアントがアクセスしているドメインをログに記録すると役立つ場合があります。サーバーは、生の IP アドレスを含む複数のドメインを介してアクセスできる場合があります。テストするときは、プライマリ ドメイン経由で行っており、すべてが期待どおりに機能します。IP (http://1.2.3.4/robots.txt) とドメイン (http://example.com/robots.txt) を介して同じファイルにアクセスしようとするとどうなりますか? また、example.com 対 www.example.com またはサーバーを指すその他のバリエーション。

ボットは、アドレスが変更されてから長い間 IP/ドメイン情報を保持している場合があり、数か月前にルールが変更されたものにアクセスしようとしている可能性があります。

于 2013-01-16T14:50:57.153 に答える