あなたがあなたのコンテンツをクロークしているかどうかをグーグルがどのように判断するかについての情報を見つけることができないようです。技術的な観点から、彼らはこれをどのように決定していると思いますか？彼らはグーグルボット以外のものを送って、それをグーグルボットの結果と比較していますか？彼らは比較している人間のチームを持っていますか？または、名前に「googlebot」が含まれているため、ユーザーエージェントを確認し、別のコードパスを実行したことをどういうわけか伝えることができますか？
これは、seoの正当なURLクローキングに関するこの質問に関連しています。テキストコンテンツがまったく同じであるが、レンダリングが異なる場合（1995スタイルのhtmlとajaxとflash）、クローキングに本当に問題がありますか？
これをつけてくれてありがとう。
私の知る限り、Googleが検索エンジンの結果をどのように準備するかは秘密であり、絶えず変化しています。さまざまなユーザーエージェントのなりすましは簡単なので、そうする可能性があります。また、Javascriptの場合、実際にはページの一部または全体をレンダリングする可能性があります。「彼らは比較している人間のチームを持っていますか？」これは疑わしいです。これを含むグーグルのクロール戦略について多くのことが書かれていますが、人間が関与している場合、それらは特定の場合にのみ呼び出されます。私はこれを疑うことさえあります：費やされる人の力はおそらくクロールエンジンを微調整することによって費やされます。
グーグルはグーグルボット以外のユーザーエージェントを提示しながらあなたのサイトを見ます。
Googleは、検索結果として返されたドキュメントを手動で確認し、検索用語との関連性、翻訳の品質などを判断するために、請負業者を（間接的に、外部機関を通じて、非常に低賃金で）雇っています。クローキングを検出しますが、それはそのうちの1つです。
GoogleツールがWebページの概略図を取得する方法について説明している、 Google Chromeコミックブックの11ページを参照してください（素人の用語よりも優れています）。彼らは、Google検索のインデックス作成とマント検出にこのテクノロジーまたは同様のテクノロジーを使用している可能性があります。少なくとも、それは別の良い使い方になるでしょう。
実際には、グーグルのアルゴの多くは自明に逆転しており、ロケット科学からはほど遠い。いわゆる「クローキング検出」の場合、これまでの推測はすべてお金にかかっています（皮肉なことに、John K lolを除く）私がいくつかのテストサイト（入力）といくつかのテストサイトを設定したと思わない場合は、テストケースをクローキングし（さらなる入力）、サイトをグーグルおじさんに提出し（処理）、疑似高度な人間ベースの認知相関量子知覚を介して非仮定をテストします（<-ところで、私はそれを娯楽価値のために作りました（そして今、私はあなたの心を本当に混乱させるために括弧を入れ子にしています:)）別名「あなたがまだ禁止されているかどうかを確認するためにグーグルの結果をチェックする」（出力）。悟りまでループする==True（noob！）lol
非常に簡単なテストは、Googlbotが見たウェブページのファイルサイズを、通常のユーザーのように見えるGoogleのエイリアスユーザーがスキャンしたページのファイルサイズと比較することです。
これにより、より綿密な調査のために最も疑わしい候補が検出されます。
彼らはcurlのようなツールを使用してページを呼び出し、ユーザーエージェントなしでページに基づいてハッシュを構築し、次にgooglebotuser-agentを使用して別のハッシュを構築します。両方のハッシュは類似している必要があり、ハッシュをチェックしてクローキングかどうかを知るためのアルゴリズムがあります