Google やその他の検索エンジンが特定のディレクトリをクロールしないようにする方法について、さまざまな方法を調査しました。私が見た中で最も人気のあるものは次の 2 つです。
- robots.txt ファイルに追加します。
Disallow: /directory/
- メタ タグの追加:
<meta name="robots" content="noindex, nofollow">
どの方法が最も効果的でしょうか? このディレクトリを検索エンジンから「見えないよう」にして、サイトのランキングに影響を与えないようにしたい.
言い換えれば、このディレクトリをニュートラル/非表示にして「ただそこに」置きたいのです。ランキングに影響を与えたくない。これを達成するにはどの方法が最適でしょうか?