クローラーに対してサイト全体を禁止し、特定の Web ページまたはセクションのみを許可することが可能かどうか知りたいですか? 「allow」は FAST や Ultraseek などのクローラーでサポートされていますか?
7689 次
1 に答える
7
許可ディレクティブがありますが、特定のボットがそれをサポートするという保証はありません（ボットが最初にrobots.txtをチェックするという保証がないのと同じように）。おそらく、ブログを調べることで、特定のボットが許可したWebサイトの部分のみをインデックスに登録しているかどうかを判断できます。
Webサイトの特定のページまたはセクションのみを許可するための形式は次のようになります。
Allow: /public/section1/
Disallow: /
これにより、ボットが/ public/section1の下のコンテンツ以外のものをクロールまたはインデックス作成するのを防ぐことができます。
于 2008-12-26T07:40:58.093 に答える