-1

robots.txt に、特定のテキストを含む Web サイトの URL を Google がインデックスに登録しないようにする行を含める方法があるかどうか疑問に思っています。

さまざまなセクションがあり、それぞれに異なるページが含まれています。Google がページ 2、ページ 3 などをインデックスに登録するのではなく、メイン ページだけをインデックスに登録したくありません。

私が持っているURL構造は次のとおりです。

http://www.domain.com/section
http://www.domain.com/section/page/2
http://www.domain.com/section/article_name

以下を含む URL をインデックスに登録しない方法を robots.txt ファイルに入れる方法はありますか?

/page/

よろしくお願いします！

4

3 に答える 3

2 
User-agent: Googlebot  
Disallow: http://www.domain.com/section/*

またはあなたの要件に応じて：

User-agent: Googlebot 
Disallow: http://www.domain.com/section/page/*

また、robots.txt ファイルではなく、 Google ウェブマスター ツールを使用することもできます。

于 2012-06-29T11:13:04.057 に答える
0

Disallow: /page を直接使用できます。

于 2012-06-29T11:15:36.497 に答える