robots.txt - robotstxt.org に従って、サブドメインまたはディレクトリのリストを解除します

Question

robotstxt.orgによると

最初の答えは回避策です。ロボットにアクセスさせたくないすべてのファイルを別のサブディレクトリに置き、そのディレクトリを Web 上で一覧表示できないようにすることができます (サーバーを構成することにより)。

リストにないディレクトリまたはサブドメインを持つようにサーバーを構成するにはどうすればよいですか?

Answer 1

サーバーとその構成によって異なります。

フォルダーのコンテンツを一覧表示することはプライバシー/セキュリティの問題である可能性があるため、ほとんどのサーバーはおそらく既定でそれを行いません。一部のサーバーは、ファイルがない場合にのみフォルダーの内容を表示する場合がありindex.htmlます。

Apache については、mod_autoindexを参照してください。

サーバーがコンテンツをリストするかどうかを簡単にテストできます。

1. フォルダを作成するtest
2. dummy.txtファイルを追加する
3. このフォルダの URL にアクセスします。http://example.com/test/

エラー メッセージが表示された場合、サーバーはコンテンツを一覧表示していません。を含むリンク リストが表示された場合dummy.txt、サーバーはコンテンツをリストします。