search-engine - 検索エンジンからウェブサイトを隠す方法

Question

私はウェブサイトを開発しており、クライアントが承認できるように開発作業をホストしたいのですが、検索エンジンにウェブサイトを見つけてほしくありません。

どうすれば非表示にできますか?

robot.txt を追加することについて聞いたことがありますか?

何かアドバイス ？

Answer 1

ウィキペディアで見つけることができます：

User-agent: *
Disallow: /

これを robot.txt ファイルに入力します。このファイルは、こちら で説明されているように、ウェブ サーバーの最上位ディレクトリにあります。

Answer 2

あなたがウェブサイトへの公開リンクを置かないと、検索エンジンはそれを簡単に見つけることができません。しかし、ある時点で、多くの人がサイトについて議論すれば、そこにリンクがあるはずです。

Robots.txtは、Googleなどのすべての正当な検索エンジンに役立ちます。ただし、誰かが誤ってURLを見つけたり、ブラウザの履歴に残ったりした場合は役に立ちません。

最も確実な方法は、次のサイトにパスワードを設定することです。http: //www.elated.com/articles/password-protecting-your-pages-with-htaccess/

Answer 3

はい、robots.txt を使用できます。このガイドhttp://www.robotstxt.org/robotstxt.htmlを確認してください。

サーバー全体からすべてのロボットを除外します。

User-agent: *
Disallow: /

Answer 4

開発中にフォルダーやサイトを非表示にする必要がある場合は、robot.txt を使用します。 http://www.robotstxt.org/robotstxt.html 必要なものには最適だと思います。