3

私はグーグルでよく検索し、多くの記事を読みましたが、さまざまな反応がありました.

自分のサイトの特定のセクションを検索エンジンによるインデックス作成からブロックしたい場合、どちらがより良いオプションであるかについて少し混乱しています。基本的に、私は自分のサイトに多くの更新を加え、クライアント向けのデザインも行っています。コンテンツの重複の問題を避けるために、プレビュー用にアップロードするすべての「テスト データ」をインデックスに登録したくありません。

  1. サブドメインを使用してサブドメイン全体をブロックする必要がありますか?

    また

  2. サブディレクトリを作成し、 を使用してブロックしrobots.txtます。

私はウェブデザインに不慣れで、サブドメインの使用について少し不安でした（少し高度な手順であり、小さな間違いでさえ大きな結果を招く可能性があることをどこかで読んでください。さらに、Matt Cutts も同様のことについて言及しています（source）：

「サイトのアーキテクチャにかなり自信が持てるようになるまでは、サブディレクトリを使用することをお勧めします。その時点で、自分のサイトについて正しい決定を下す準​​備が整います。」

しかし一方でrobots.txt、誰でもファイルにアクセスできるように使用することをためらっています。

両方の長所と短所は何ですか？

今のところ、Google はどちらも同じように扱っており、サブディレクトリをrobots.txt.

4

1 に答える 1

1

コンテンツをインデックスに登録しないようにボットに依頼するか(→ robots.txt) 、全員をロックアウトします (→ パスワード保護)。

この決定では、別のサブドメインを使用するかフォルダーを使用するかは関係ありません。どちらにも robots.txt またはパスワード保護を使用できます。robots.txt は常にドキュメント ルートに配置する必要があることに注意してください。

robots.txt を使用しても保証はありません。これは丁寧な要求に過ぎません。丁寧なボットはそれを尊重しますが、他のボットは尊重しません。人間のユーザーは、「許可されていない」ページに引き続きアクセスできます。robots.txt を尊重するボット (Google など) でさえ、検索で「許可されていない」コンテンツにリンクする場合があります (ただし、コンテンツをインデックスに登録することはありません)。

ログイン メカニズムを使用すると、すべてのボットや訪問者からページを保護できます。

于 2013-01-21T22:20:34.820 に答える