1

サイトをクロールしないように指定したにもかかわらず、ステージング サイトが検索結果に表示されます。ステージング サイトの robots.txt ファイルの内容は次のとおりです。

User-agent: Mozilla/4.0 (compatible; ISYS Web Spider 9)
Disallow:

User-agent: *
Disallow: /

ここで私が間違っていることはありますか？

4

2 に答える 2

1

ロボットのファイルはきれいに見えますが、Google、Yahoo、Bing などは、サイトをインデックス化するためにサイトをクロールする必要がないことを覚えておいてください。

Open Directory Projectか、あまり礼儀正しくないある種のボットが偶然見つけた可能性が非常に高いです。最近では、他の誰かがあなたのサイトを見つけたら、誰もがそのサイトを手に入れているようです。私も夢中になります。

ステージング時の良い経験則は次のとおりです。

  1. 本番サイトに投稿する前に、常に構文に関連する見落としがないかロボットファイルをテストしてください。robots.txt Checker、Analyze robots.txt、またはRobots.txt を試す分析 - ロボットがサイトにアクセスできるかどうかを確認します。

2.ステージング中はパスワードでコンテンツを保護します。いくらか偽物でも、インデックスのルートにログインとパスワードを入れてください。ファンとテスターに​​とっては追加のステップですが、礼儀正しくしたい場合、または礼儀正しくないボットを髪の毛から取り除きたい場合は、それだけの価値があります。

3. プロジェクトによっては、実際のドメインをテストに使用したくない場合があります。静的 IP を使用している場合でも、dnsdynamicまたはnoip.comを使用して、パスワードで保護されたサイトをステージングすることがあります。たとえば、自分のドメインihatebots.comをステージングしたい場合:) dnsdynamic または noip (これらは無料です) に移動し、ihatebots.user32.com または somthingtotallyrandom.user32.com などの偽のドメインを作成します。それに私のIPアドレスを割り当てます。このように、誰かが私のステージング プロジェクトをクロールしたとしても、私の元のドメイン: ihatebots.comは、あらゆる種類の検索エンジンの結果から影響を受けません (その記録もそうです)。

1 日 24 時間、あなたを見つけることを目的とした数十億ドルが世界中にあり、その数は増え続けていることを忘れないでください。最近は厳しいです。創造性を発揮し、ステージング中は常にパスワードで保護してください。

幸運を。

于 2013-03-29T20:56:48.540 に答える