最近、ウェブマスター ツールを使用して自分のサイトを Google に送信しましたが、Google からの検索結果が表示されません。Google ウェブマスター ツールは、サイトマップのエラーを表示します - 「URL は robots.txt によって制限されています」 - しかし、私が知る限り、このエラーは問題ではないはずですか、それとも間違っているのでしょうか? おそらく robots.txt に問題があるのでしょうか?
User-agent: Slurp
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /build/
Disallow: /css/
Disallow: /trackback/
Disallow: /comments/
Disallow: /assets/graphics/
Disallow: /assets/visual/
更新バリデーターで robots.txt を実行し、更新して (上記を参照) 警告を返さないようにし、Google に送信しました。Google はサイトをクロールしますが、インデックスには登録していません。サイトマップを Google Webmaster tools に送信し、新しい robots.txt を Google fetch に送信し、ホームページを含む 7 つの異なるページと投稿を送信しました。それらはすべて、Fetch ステータスを表示します: 成功 URL がインデックスに送信されました。
はい、すべてのロボットをブロックする古い robots.txt ファイルがありました。新しいものは明らかに問題ありませんが、警告メッセージがまだ表示されています (以下を参照)。
Google ウェブマスターの健康:
メッセージ メッセージはありません
クロール エラー過去 90 日間にエラーは検出されませんでした。良い！
ブロックされた URL robots.txt ファイル: mysite.com/robots.txt ブロックされた URL: 1 ステータス: 200 (成功)
インデックス ステータスインデックスされた合計: 0
Google ウェブマスターの最適化:
サイトマップ
サイトマップのコンテンツ: Web ページ 99 送信済み 1 インデックス済み
エラーの詳細: 0 エラー、99 警告。 タイプ: 警告 問題: URL が robots.txt によってブロックされました。 説明: サイトマップには、robots.txt によってブロックされている URL が含まれています。 問題数: 99 値の例: http://mysite.com
Google ウェブマスター ツールのメッセージは非常に矛盾しているように見えます。自分が大丈夫で待つ必要があるのか、それとも問題があるのか、まったくわかりません。