php - ロボットの識別とレンダリング

Question

クローラーを要求するためのフィルターがありますか、それともロボットとブラウザーでのレンダリングに違いはありませんか?
リクエスト ロボットはブラウザ経由のアクセスと見なす必要がありますか?

ロボットにはGoogle Web版とモバイル版があると読みました。
モバイルロボットが携帯電話のようにコンテンツを表示することを識別する必要がありますか?

Answer 1

robots.txtドメインのルートディレクトリにあるファイルから、ロボットがアクセスできるものとできないものをロボットに伝えることができます。

これを読んだことがありますか？

http://www.robotstxt.org/robotstxt.html

サイトの特定の領域からのロボットを許可/禁止する方法を説明しています。

例：

サーバーの一部からすべてのロボットを除外するには

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/