I found this in my root.txt file
Disallow: /search
what does it mean?
2241 次
3 に答える
2
robots.txtファイルについて話している場合は、そのホストで/searchで始まるURLに入らないようにすることをWebクローラーに示します。robots.txtファイルはRobotsExclusionStandardに関連しています。
質問のタイトルに「robot.txt」、本文に「root.txt」と記載されています。これが実際にrobots.txtファイルである場合は、「robots.txt」という名前を付ける必要があります。そうしないと、まったく効果がありません。
于 2012-12-18T20:15:00.843 に答える
0
"Disallow: /search"は、" /search "を含むリンクのインデックス作成とクロールを行わないよう検索エンジン ロボットに指示します。たとえば、リンクがhttp://yourblog.blogspot.com/search.html/bla-bla-blaの場合、ロボットこのリンクをクロールしてインデックスに登録しません。
于 2015-08-22T20:13:19.237 に答える