1

検索エンジンに自分の Web サイトのインデックスを作成させたくないので、robots.txt をルート ディレクトリに置きました。それは Meta タグを上書きしますか、それとも Meta タグは robots.txt ファイルを上書きしますか?

この質問をする理由は、一部のページには、ロボットにインデックスを付けてフォローするように指示するメタ タグが含まれている可能性があるためです。ただし、サイトをサブドメイン名の魔女に移動しましたサイトとロボットにインデックスを付けるように指示するすべてのメタ タグを削除する必要はありません。その後、サイトの準備ができたら、ロボットにインデックスを付けるように指示するメタ タグを置き換える必要があります。従って、robots.txt はロボットにインデックスを作成しないように指示する以外は、サイトを変更しない最も迅速で簡単な方法です。

4

1 に答える 1

0

robots.txt がドキュメントを含むディレクトリのクロールを禁止している場合、おそらくドキュメントに到達することはないので、問題はありません。

HTML リンクに「follow」属性がある場合、ロボットはクロールのためにこれらの URL をキューに入れますが、実際にクロールしようとすると、robots.txt にブロックが表示され、クロールされません。

簡単に言えば、robots.txt は、行儀の良いクローラーがリンクを取得した場所や、リンクが見つかったときにそのリンクに関連付けられていた属性に関係なく、リンクをたどることを防ぎます。

于 2013-03-29T16:07:08.270 に答える