問題タブ [googlebot]

この質問は非常に興味深いと思いました: Programmatic Bot Detection 非常によく似た質問がありますが、「行儀の悪いボット」については気にしません。

私は (Google アナリティクスに加えて) 訪問ごとに以下を追跡しています:

• エントリーURL
• リファラー
• ユーザーエージェント
• Adwords (クエリ文字列による)
• ユーザーが購入したかどうか
• 等

問題は、あらゆる種類のコンバージョン率を計算すると、多くの「ボット」訪問が発生し、結果が大きく歪められることです。

できるだけ多くのボットの訪問を無視したいのですが、あまり綿密に監視する必要がなく、それ自体がパフォーマンスを浪費せず、できれば誰かが JavaScript を無効にしている場合でも機能するソリューションが必要です。

トップ 100 程度のボットの公開リストはありますか? http://www.user-agents.org/でリストを見つけましたが、数千とは言わないまでも数百のボットが含まれているようです。何千ものリンクに対してすべてのリファラーをチェックしたくありません。

これが現在の googlebot UserAgent です。どのくらいの頻度で変更されますか?

特定の日または期間（週末のみなど）にサイトにアクセスしてクロールするようにgooglebotに通知するために、任意のプロパティを設定できることを誰かが知っていますか？

ありがとう、

Google がサイトを再クロールするのはいつですか。また、なぜ Google はキャッシュに同じページの 2 つのバージョンを持っているのでしょうか??

http://forum.portal.edu.ro/index.php?showtopic=112733 キャッシュ ページ: forum.portal.edu.ro/index.php?showtopic=112733&st=25/ forum.portal.edu.ro/index .php?showtopic=112733&st=50

時々検索ログを見ると、私の検索エンジンの最大のユーザーはgoogle-botであることがわかります。何が得られますか？ナビゲーションから直接アクセスできない可能性のあるコンテンツを探していますか？もしそうなら、どの単語やフレーズを探すべきかをどうやって知るのでしょうか（それらは驚くほど関連性があります）。サイトで最も人気のあるキーワードをチェックしますか？私はここで私自身の質問に答えているように見えることを知っていますが、これは実際には第一原理からそれを解決しているだけです。彼らが何について話しているのかを知っている誰か（つまり私ではない）から聞きたいのですが。

私は初心者のWeb開発者であり、JammuLinks.comというサイトを持っています。これはphp上に構築されています。市内のローカルリスティング検索エンジンです。基本的に、私はパラメータを取り、データベースからレコードをフェッチして表示する検索ページを作成しました。つまり、コンテンツを動的に生成しています。ただし、サイトの下部を見ると、searchresult.php？tablename ='schools'のように、リンク内のパラメーターをハードコーディングした静的リンクを多数追加しています。だから私の質問は

グーグルはページとページにリストされているリンクもクロールするので、結果ページのデータもクロールしますか？持っているかどうかを確認するにはどうすればよいですか。これまでにsite：www.jammulinks.comを試しましたが、ホームページとブログだけが表示されます。

静的リンクにもインデックスを付けるために、さらに何を追加できますか。

Googlebot は、不適切なクエリ文字列パラメータを使用してサイトの 1 つをインデックスに登録することがあります。このクエリ文字列パラメーターを取得する方法がわかりません (不適切なリンクを使用してリンクしているサイトはないようです。また、サイトに不適切な値を挿入しているものはありません)。予想どおり、不適切なパラメーターにより、サイトは 500 エラーをスローします。

Google は 500 エラーを返すページをインデックスに登録しないという印象を受けましたが、実際にはそうであることが判明しました。だから今、私は2つの質問があります：

1) Googlebot が不正なクエリ文字列値をランダムに挿入するのはなぜですか? (この質問に対する答えはあまり気にしませんが、それを回避するために何かできることがあれば、問題は解決するでしょう。)

2) Google が 500 エラーを返すページをインデックスに登録するのはなぜですか?

以下は、Googlebot が作成し、Google がインデックスに登録した誤ったリンクの 1 つです。

http://www.pbs.org/teacherline/catalog/browse/?sa=4&gb=baqhuxts&gb=20&gb=21&num=20&page=2&js=0&sa=1

不適切なパラメータは gb=baqhuxts です。パラメータ 'gb' は整数である必要があります。クエリ文字列からそのパラメーターを削除すると、見栄えの良いカタログ ページが表示されるはずです。

nofollow と robots.txt のソリューションについて: [編集済み]

私は自分がばかであることに気づき、検索ロボットにページをインデックス化するように指示するメタ タグを付けました。それはばかげたことでした。私はそれらを削除しています。W-(

Google で 'baqhuxts'を検索すると、この不適切なパラメーターを使用して 10 ページのインデックスが作成されていることがわかります。しかし、これらのページはそれぞれ 500 エラーを返します。Google がこれらのページをインデックスに登録するのに有効であると考える理由について、誰か洞察を持っている人はいますか?

中道の専用サーバーで、コンテンツは多いがトラフィックは少ないサイトを運営しています。

時折、Googlebotが私たちを圧倒し、Apacheがメモリを使い果たし、サーバーがクラッシュすることがあります。

どうすればこれを回避できますか？

Google がいつサイトをクロールしているかを知りたいのですが、できれば自分宛てにメールを送信してください。

パフォーマンスに悪影響を及ぼさない方法はありますか?

少し前に設定したCRONジョブのphpスクリプトがあります。ただし、PHPファイルが実行されていることに気付きました（cronジョブがアクティブ化されていません）。次のエンジンが私のページにアクセスしたことに気付いたため、Googleボットがファイルをクロールしたときに発生したようです。

http://www.google.com/bot.html

私の質問は：

1）私のウェブページをクロールすることで、スクリプトを実行できた可能性はありますか？

2）CRONファイルをGoogleから「隠す」にはどうすればよいですか？

3）このファイルを私のpublic_htmlディレクトリ以外の場所に配置するのは賢明でしょうか？

どうもありがとう！

私はすでにGoogleのmicroformatテストツールを試しましたが、それがGooglebotと同じように機能するかどうかはわかりません。つまり、Googlebotが単純なWebベースのテストツールよりも多くの機能を備えていることは合理的です。

ですから、私は疑問に思っています-JavaScriptを介して挿入されたマイクロフォーマットデータ（たとえば、document.writeを介した外部スクリプト）をGooglebotに解析させることに成功した実際の経験はありますか？

どんな種類の権威ある情報源も素晴らしいでしょう。私は今これで完全に盲目的に飛んでいます。ありがとう！