0

今日、Web ホストで「error.log」というフォルダーを見つけました。見てみようと思いました。

「ファイルが存在しません」というエラーが複数表示されます。エントリには次の 3 種類があります。

  • robots.txt
  • 行方不明.html
  • apple-touch-icon-precomposed.png

これらのファイルが何に使用されているかについていくつか推測がありますが、明確に知りたいです:

  • 問題のファイルは何ですか?
  • それらをサーバーに追加する必要がありますか?
  • これらのエラーログが書き込まれるように促すものは何ですか? 明示的に要求している人ですか？もしそうなら、誰が、どのように？
4

1 に答える 1

2

ファイルは Web クローラー/ロボットrobots.txtによって読み取られ、サーバー上のリソースのスクレイピングを許可/禁止します。ただし、ロボットがこのファイルを読み取ることは必須ではありませんが、優れたロボットは読み取ります。http://en.wikipedia.org/wiki/Robots.txtにさらにいくつかの例があります。サンプル ファイルは次のようになり、Web ルート ディレクトリに存在します。

User-agent: *   # All robots
Disallow: /     # Do not enter website

また

User-Agent: googlebot   # For this robot
Disallow: /something    # do not enter

apple-touch-icon-precomposed.png説明されていますhttps://stackoverflow.com/a/12683605/722238

の使用法はmissing.html、カスタマイズされた 404 ページとして一部で使用されていると思います。ロボットがこのファイルをスクレイピングするように構成されている可能性があるため、このファイルが要求されます。

ロボットがサーバーから取得するリソースを制御する場合は、robots.txt ファイルを追加する必要があります。前に述べたように、ロボットがこのファイルを読み取ることは必須ではありません。

ただし、他の 2 つのファイルを追加してエラー メッセージを削除することもできますが、その必要はないと思います。joe_random がサーバーにリクエストを送信しないことは言うまでもあり/somerandomfile.txtません。その場合、存在しない別のファイルに関する別のエラー メッセージが表示されます。その後、カスタマイズした 404 ページにリダイレクトできます。

于 2013-04-15T01:58:52.143 に答える