過去数か月間、googleBot は私のサイト [index.php] にもう存在しないファイルにアクセスしていました。これは、適切な言語の適切なホームページへのすべてのルーティングが htaccess の apache 書き換えルールを介して処理されているためです。
DirectoryIndex index.php
答えとして、.htaccessルールをコメントアウトしました。
RewriteEngine on
RewriteBase /
Options +FollowSymLinks -Indexes -ExecCGI
# DirectoryIndex index.php (not needed anymore, index.php doesnt exist)
# DirectoryIndex /en/home (should it be set to this now??)
現在、すべてが崇高に機能します。http://website.org
ルートは、 /en/home
301 の永続的なリダイレクトを介して即座にリダイレクトされます!
しかし
66.249.67.142 / == crawl-66-249-67-142.googlebot.com が、存在しない index.php を読み込もうとして何度も私のサイトにアクセスしています。私は何をすべきか??
そのようなエントリを含むエンドレス エラー ログ ファイルへのスニーク ピーク (かわいそうな googlebot は、よりインテリジェントである可能性があると思いました...)
[Fri Mar 04 20:48:30 2011] [error] [client 66.249.66.177] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php
[Fri Mar 04 20:58:59 2011] [error] [client 66.249.66.177] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php
[Fri Mar 04 21:00:18 2011] [error] [client 66.249.67.142] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php
[Fri Mar 04 21:01:05 2011] [error] [client 66.249.66.177] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php
[Fri Mar 04 21:12:28 2011] [error] [client 66.249.66.164] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php
[Fri Mar 04 21:27:30 2011] [error] [client 66.249.68.115] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php