bots - NoFollowルール後のボット関数

Question

メタタグでフォローなしルールを使用した後、googlebotまたは他の検索エンジンのスパイダー/ボットの機能は何であるか疑問に思っていました。おそらくボットはあなたのサイトにあり、リンクリダイレクトなどを介してページに到達しますが、リンクされたページにコードが含まれている場合<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">、ボットはその後どこに行きますか？前のページに戻りますか、それとも他の機能を果たしますか？これがばかげた質問のように聞こえないことを願っていますが、私はただ興味がありました。

Answer 1

通常、Webクローラーは、特定のWebページで見つかったリンクに遭遇したときに直接アクセスしません。代わりに、これらのリンクは待機リストに追加されます。スパイダーが現在のページの読み込みを完了すると、このリストを調べて別のURLをポップします。そこから、最後にフェッチされたページからの新しいリンクは必要ありません。前のページまたは別のWebサイトからのリンクである可能性があります（リストの編成方法によって異なります）。