[2013年更新]
WordPress 用の robots.txt ファイルの形式の正式なページが見つかりません。私は自分のサイトで 1 つを維持することを約束しますが、ここではスタック オーバーフローが必要です。
あなたが何をしているのか知っているなら、ここで現在のドラフトをチェックしてください:
他の誰もがこれについてコメントします:
robots.txt
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Sitemap: http://domain.com/sitemap.xml
Crawl-delay: 4