8

ルートに次のrobots.txtがあるサイトがあります。

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

そして、このサイト内のページは、一日中Googlebotsによってスキャンされています。私のファイルまたはGoogleに何か問題がありますか？

4

4 に答える 4

22

Disallow:ではなく、である必要がありDisabled:ます。

于 2008-12-05T18:11:43.730 に答える
8

たぶん、Googlerobots.txtチェッカーを試してみてください

于 2008-12-05T18:12:37.287 に答える
2

Googleにはrobots.txtエントリをチェックするための分析ツールがあります。ここでそれについて読んでください

また、「不正な」ロボットのIPアドレスをチェックして、それらが実際にGoogleによって所有されているかどうかを確認することもできます。

于 2008-12-05T18:11:52.077 に答える
0

また、ボットはページを下に移動し、それに適用される最初のディレクティブを取得すると思います。あなたの場合、GooglebotとGooglebot-Imageは、最初に「User-Agent：*」を尊重するため、特定のディレクティブを表示することはありません。

この答えは無視してください。これが当てはまらないことを示す情報を見つけました。ボットは、それに固有のディレクティブを見つけて、それを尊重する必要があります

于 2009-01-20T23:26:52.960 に答える