0

20,000 ページを超える DNN サイトがあります。Googlebot と Bingbot が常に私の Web サイトをクロールしています。

サイトログを見ると、Google と bing がページ ID (例: www.url.com/Default.aspx?TabID=5000) を介してサイトをクロールしていることがわかります。

ボットは毎分私の Web サイトを攻撃しています。新しいページを追加すると、ボットが新しく追加されたページをクロールすることを期待していますが、代わりに、ボットが非常に古いページを再クロールし、新しく追加されたページを認識するまでに数時間かかります。

次の定義を持つ 10,000 を超えるエントリを含む robot.txt ファイルがあります。

Disallow:/Default.aspx?TabID=5000
Disallow:/Default.aspx?TabID=5001
Disallow:/Default.aspx?TabID=5002

など。

だから私はいくつかの問題に気づいています：

1 - Googlebot と Bingbot は私の拒否を無視し、robots.txt で定義したページを再クロールしています - ボットはどのようにして TabID を使用して古いページに戻って再クロールすることを認識しますか?

2 - 新しいページを追加すると、両方のボットが古いコンテンツのクロールに忙しく、新しいコンテンツをすぐに読み取らないことにまだ気付きます.Google と Bing のボットに、新しく追加されたページを常に最初に読み取らせる方法はありますか?

ご提案いただきありがとうございます。

4

1 に答える 1

0

http://URL.com/sitemap.aspxにアクセスすると、そこにリストされているページを確認できます。

サイトマップに表示するページを制御できるため、DNN 7 にアップグレードすることを強くお勧めします。これにより、インデックス作成の問題を制御できる場合があります。

更新: 管理メニューの下で、検索エンジンのサイトマップ ページが見つかった場合、サイトマップに含めるページの最小優先度を設定できます。次に、表示したくないページについては、ページ設定で優先度を変更できます。

于 2013-06-14T20:04:40.550 に答える