中道の専用サーバーで、コンテンツは多いがトラフィックは少ないサイトを運営しています。
時折、Googlebotが私たちを圧倒し、Apacheがメモリを使い果たし、サーバーがクラッシュすることがあります。
どうすればこれを回避できますか？
9053 次
6 に答える
9
Googleのウェブマスターツールを使用して、サイトのクロール方法を設定できます。具体的にはこのページを見てください：Googleのクロール速度の変更
robots.txtファイルを使用して、Googleボットが検索するページを制限することもできます。に利用できる設定がありますがcrawl-delay、それはグーグルによって尊重されていないようです。
于 2009-08-25T14:00:20.717 に答える
1
Googleウェブマスターツールを使用してサイトを登録します。これにより、googlebotがサイトのインデックス作成を試行する1秒あたりのリクエスト数とリクエスト数を設定できます。Googleウェブマスターツールは、robots.txtファイルを作成してサイトの負荷を軽減するのにも役立ちます
于 2009-08-25T13:59:40.327 に答える
1
グーグルウェブマスターツール（サイト設定の下）を介してクロール速度を設定できますが、それらは6か月間のみ設定を尊重することに注意してください！したがって、再度設定するには、6か月ごとにログインする必要があります。
この設定はGoogleで変更されました。設定は現在90日間のみ保存されます（6か月ではなく3か月）。
于 2014-10-14T20:01:00.813 に答える
0
グーグルのウェブマスターツールでクロール速度を設定できます。
于 2009-08-25T13:58:51.500 に答える
0
クロール速度を制限するには：
検索コンソールのホームページで、目的のサイトをクリックします。
歯車のアイコン[設定]をクリックし、[サイトの設定]をクリックします。
[クロール速度]セクションで、必要なオプションを選択し、必要に応じてクロール速度を制限します。
新しいクロールレートは90日間有効です。
于 2019-01-29T04:34:55.527 に答える