robots.txt に、特定のテキストを含む Web サイトの URL を Google がインデックスに登録しないようにする行を含める方法があるかどうか疑問に思っています。
さまざまなセクションがあり、それぞれに異なるページが含まれています。Google がページ 2、ページ 3 などをインデックスに登録するのではなく、メイン ページだけをインデックスに登録したくありません。
私が持っているURL構造は次のとおりです。
http://www.domain.com/section
http://www.domain.com/section/page/2
http://www.domain.com/section/article_name
以下を含む URL をインデックスに登録しない方法を robots.txt ファイルに入れる方法はありますか?
/page/
よろしくお願いします!