1

編集: robots.txt でこれを行うだけでは十分ではありません。

このコードは、サイト全体を Google からブロックします。このコードの機能を維持する方法はわかりませんが、Google がサイト上の 1 つのフォルダーにアクセスできるようにします。

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteRule ^(.*)$ - [F,L]

2つの条件があった場合、これは機能しますか?

Options +FollowSymLinks -MultiViews
# Turn mod_rewrite on
RewriteEngine On
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} yahoo [OR]
RewriteCond %{REQUEST_URI} !^/allowed-folder/ [NC]
RewriteRule ^ - [F,L]
4

2 に答える 2

1

コメントで提案されているようにrobots.txt、次の内容で DOCUMENT_ROOT の下にファイルを作成します。

User-Agent: googlebot
Disallow: /
Allow: /allowed-folder/

本当に mod_rewrite を介してこれを処理したい場合は、mod_rewrite と .htaccess を有効にしてからhttpd.conf、このコードをディレクトリの.htaccess下に配置します。DOCUMENT_ROOT

Options +FollowSymLinks -MultiViews
# Turn mod_rewrite on
RewriteEngine On
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteCond %{REQUEST_URI} !^/allowed-folder/ [NC]
RewriteRule ^ - [F,L]
于 2013-05-11T21:55:21.423 に答える
1

robots.txt という名前のファイルを作成します

入れる

User-agent: *
Disallow: /folder you dont wont google inside in/
Disallow: /other folder you dont wont google inside in/
于 2013-05-11T21:56:10.867 に答える