2

SEO、Robots.txt、wordpress について質問があります

私の robots.txt は次のようになります。

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /feed
Disallow: /*/feed
Disallow: /wp-login.php
Disallow: /tag
Disallow: /trackback
Disallow: /*?*
Disallow: /archive/
Disallow: /rss/
Disallow: /about/trackback/
Disallow: /wp-register.php

Google Webmasters ツールでは、次のような URL が制限されていることがわかります。

http://www.domain.com/date/article-title/feed/

これは、私が推測する Disallow /feed が原因です。現在、実際の記事のタイトルは、「/feed/」を除いた同じ URL http://www.domain.com/date/article-title/です。

私の質問は、正しい URL が引き続き検索エンジンによってインデックスされるかどうかです。または、robots.txt から削除する必要がありますか? robots.txt についてどう思いますか?何を追加すればよいかのヒントを見つけて検索したところ、それが出てきましたが、より大きなワードプレス サイトを見ると、私のロボットにあるアイテムの半分がありません。 txt ファイル。

4

1 に答える 1

1

フィード自体はインデックスに登録されませんが、そのURLがrobots.txtファイルで具体的にブロックされていない場合は、フィードに含まれるURLにインデックスを付けることができます。

すべてのブログ記事がインデックスに登録されている限り、他の記事は問題なくブロックできます。ブロックされたページの一部は、ユーザーや検索エンジンにとって役に立たないようです（つまり、ログインページ、トラックバックページ）、または重複する可能性のあるコンテンツの問題（つまり、アーカイブ、タグページ）です。役に立たないページは完全にブロックする必要があります。アーカイブページとタグページをクロールしますが、インデックスは作成しません。そうすれば、検索エンジンはそれらのページのリンクをたどることができ、すべてのコンテンツを見つけるのに役立ちます。これはrobots.txtではなく、メタタグまたはHTTPヘッダーのいずれかで行われます。

于 2011-11-18T19:52:27.723 に答える