だから私は同じドメインに通常のウェブサイトとブログを持っています。将来的にはブログ専用のドメインを購入する予定ですが、今のところはこの方法で行います。
ブログはディレクトリ/blogにあり、メイン サイトからブログへのリンクはありません。だから、ロボットはそこにたどり着けないと思います。
を使用してロボットを特定のディレクトリに送信する方法はありrobots.txtますか? メインサイトにリンクを貼る以外に解決策はありますか?
質問する
34 次
1 に答える
1
あなたはおそらくそれを達成するためにサイトマップを使用したいと思うでしょう
Robot Exclusion Standardは、Robots Exclusion Protocol または robots.txt プロトコルとも呼ばれ、協力する Web クローラーや他の Web ロボットが、他の方法では公開されている Web サイトのすべてまたは一部にアクセスできないようにするための規則です。ロボットは、多くの場合、検索エンジンが Web サイトを分類してアーカイブしたり、Web マスターがソース コードを校正したりするために使用されます。この標準は、Web サイトのロボット組み込み標準であるサイトマップとは異なりますが、併用することができます。
于 2013-06-14T02:15:32.773 に答える