2

助けて！グーグルは、私が知っているはずの誰も保存していない私のウェブサイト上のテストフォルダにインデックスを付けました:(！グーグルがリンクや特定のフォルダにインデックスを付けるのを制限するにはどうすればよいですか。

4

6 に答える 6

12

ロボット除外ファイルを使用するか、テスト領域をパスワードで保護することをお勧めします。robots.txtファイルを使用して、他の人に見られたくない領域を「保護」するのは、「これは開いたままにしましたが、入らないでください」という看板をバックドアに掛けるようなものです:)

Googleウェブマスターツールに登録した場合、クローラーからアクセスできないようにすると、検索結果の削除をリクエストできます。

于 2009-06-11T09:09:01.407 に答える
2

を使用しrobots.txtます。

Googleで検索するか、チェックアウトしてください：http ://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=40360

于 2009-06-11T09:08:17.150 に答える
2

クローラーがコンテンツの一部にインデックスを付けるのを回避する最善の方法は、サイトのルートにあるrobots.txtファイルを使用することです。

次に例を示します。

User-agent: *
Allow: /
Crawl-delay: 5

User-agent: *
Disallow: /cgi-bin
Disallow: /css
Disallow: /img
Disallow: /js

最初のブロックで、私はクローラーにすべてを閲覧できることを伝えています。

2番目のブロックには、彼に避けてほしいフォルダーのリストがあります。

一部のクローラーはそれを尊重しないため、これは実際に保護するための安全な方法ではありません。

本当に保護したい場合は、それらのフォルダに.htaccessファイルを置いて認証を強制するのが最善の方法です。

于 2009-06-11T09:11:27.503 に答える
2

注意してください！「素敵な」ボット（グーグルなど）に特定の場所から離れるように指示することはできますが、他のボットはそれほどうまく機能しません。したがって、これを適切に解決する唯一の方法は、「公開」と見なされない場所にいくつかの制限を追加することです。信頼できる一部のIPアドレスへのアクセスを制限したり、ユーザー名/パスワード認証を追加したりできます。

于 2009-06-11T09:15:35.153 に答える
2

たぶん正しい答えは、公開Webサイトにテストコードを載せないことです。なぜそれがデプロイメントの一部なのですか？

于 2009-06-11T09:56:11.390 に答える
2

Apacheを使用している場合：

.htaccess

AuthUserFile //.htpasswd AuthGroupFile /dev/null AuthName "You must log in to access this development web site" AuthType Basic

<Limit GET>

require valid-user

</Limit>

パスワードファイル（.htpasswd）には、次の内容が含まれています。

name:password

パスワードは暗号化されています。「htpasswd」を検索すると、パスワードを暗号化するための無料のプログラムがたくさん見つかります。

TRiG。

于 2009-06-11T10:02:47.837 に答える