[2013年更新]
WordPress 用の robots.txt ファイルの形式の正式なページが見つかりません。私は自分のサイトで 1 つを維持することを約束しますが、ここではスタック オーバーフローが必要です。
あなたが何をしているのか知っているなら、ここで現在のドラフトをチェックしてください:
他の誰もがこれについてコメントします：
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Sitemap: http://domain.com/sitemap.xml
Crawl-delay: 4
User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /e/
Disallow: /show-error-*
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comment-page-
Allow: /wp-content/uploads/
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://yoursite.com/sitemap.xml
このコードは robots.txt ファイルに対して非常に信頼できると思います。Public_HTML に移動し、robots.txt でファイルを作成して、上記のコードを貼り付けてください。メモ帳で作成できます。上記のコードをコピーして notpad に貼り付けますが、ファイル名は robots.txt にして、public_HTML にアップロードする必要があります。
すべての SEO と同様に、状況は変わります。現在のアドバイスは、robots.txt ファイルを最小限にすることだと思います。
wp-admin、wp-includes、wp-content などを無視すると、Google がページを正しくレンダリングできなくなる可能性があります。
Yoast によるこの記事をチェックしてください: https://yoast.com/wordpress-robots-txt-example/ .
メモ帳 robots.txt で作成し、 CPANEL の public_html にアップロードします。
* public_html にアップロードする前に、メモ帳の名前をロボットに変更することを忘れないでください
robots.txtGoogle が「モバイル フレンドリー」を判断するためにすべてのアセットを読み込もうとする現在、多くのことをブロックするのは安全ではありません。少なくとも /wp-admin をブロックできます。これは、WordPress のStackExchangeフォーラムでの質問に対するより詳細な最新の回答です。