以下のように1行のコンテンツでrobots.txtを使用することに意味はありますか
ユーザーエージェント: *
まったく持っていないのに比べて?
いいえ; それをする意味はありません。
いいえ、グーグル(そして、ブッシュを打ち負かさないでください、グーグルはあなたが気にかけるべき検索エンジンです)は、あなたがそうしないように言わない限り、デフォルトですべてをクロールします。
Googleを支援したい場合は、Googleウェブマスターツールを使用して、正しい形式でサイトマップを送信してください
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156184