3

Google が静的コンテンツ (s3 に保存されている) をクロールしているため、次のように (バケットの) ルート ディレクトリに robots.txt を作成しました。

User-agent: *
Disallow: /

Google 検索から既存のコンテンツを削除したかったので、..Google Webmaster a/c にバケットを追加しました..そして、ディレクトリの削除を要求しました

ここでの問題は、Google が robots.txt を認識または読み取らないことです (今後 Google ブロックをブロックする必要があります)。ウェブマスター ツールでこのメッセージが表示されます。

このサイトは、ドメインのトップ レベルにはありません。robots.txt ファイルは、最上位のディレクトリにある場合にのみ有効であり、ドメイン内のすべてのディレクトリに適用されます。サイトに適用される robots.txt ファイル (存在する場合) は、http://s3.amazonaws.com/robots.txtにあります。このページでは、そのファイルに関する情報を提供します。

4

2 に答える 2

11

Google に指定したバケットの URL を教えてください。path-styleの代わりにDNS-style を使用する必要があります。{bucket}.s3.amazonaws.com s3.amazonaws.com/{bucket}

于 2012-10-06T02:12:10.427 に答える
-1

robots.txtを確認しようとすると、アクセス拒否エラーが発生します。Googleがロボットファイルを確認できることを確認しますか？

さらに、Googleでrobots.txtをリアルタイムで確認し、robots.txtを調べたときにGoogleが何を見ているかを正確に確認できます（彼らがそれを見ることができる場合）。

于 2012-10-05T16:52:35.313 に答える