2

Google ウェブマスター ツールで設定しようとしている新しいウェブサイトで実際に問題が発生しています。「robots.txt に到達できません」というメッセージが表示され続けます。Google は、robots.txt ファイルにアクセスできないため、サイトをクロールできないと言っています。

ご覧のとおり、ファイルが存在し、サーバー ヘッダーを確認したところ、ファイルのステータス 200 が返されています。

http://www. top5beauty.co.uk / robots.txt (スペースなし)

奇妙なことに、http://top5beauty.co.uk/robots.txt (no www) を取得すると、実際には www にリダイレクトされますが、問題はありません。

誰か提案はありますか？

4

2 に答える 2

0

  1. ウェブマスターツールで「FetchasGooglebot」テストを実行して、ページ/URL/ファイルが到達可能かどうかを即座に確認できます

  2. すべてのアクセスをブロックする「Disallow：」ルールを設定しました。インデックスを作成する場合は、できるだけ早く削除する必要があります。

  3. robot.txtの詳細については、この公式ドキュメントをご覧ください。また、Googlebotのメソッドが最近変更されたため、この件について書いた最近のGooglebotの投稿を読むことをお勧めします。

ところで：私の投稿は好きですが、最も基本的な質問を扱っているので、最初にGoogleのドキュメントを読む必要があると思います:)

乾杯

于 2012-08-28T08:47:44.983 に答える
0

robots.txt の取得には最大 2 日かかることがあります。ファイルを作成したばかりの場合は、しばらく待つ必要があります :-)

于 2012-08-24T10:26:53.117 に答える