検索エンジンにインデックスされているワードプレスのウェブサイトがあります。
Robots.txt を編集して、検索インデックスから特定のディレクトリと Web ページを許可しないようにしました。
allow と disallow の使い方しか知らないのですが、robots.txt ファイルの follow と nofollow の使い方がわかりません。
これについてグーグルで検索しているときに、Google でインデックスに登録されないが、ページランクのためにクロールされる Web ページを作成できることをどこかで読みました。これは、Robots.txt で Web ページを禁止し、Web ページに follow を使用することで実現できます。
Robots.txt ファイルで follow と nofollow を使用する方法を教えてください。
ありがとう
サミット