問題タブ [googlebot]

ウェブサイトには、ユーザーがコメントを残すためのコンポーネントを備えたページがたくさんあります。ページの読み込み時間を短縮し、コメントシステムを使用するユーザーが少ないため、コメントコンポーネントは、ページの読み込み後にAJAXを介して読み込まれます。問題：ページの読み込み時にAJAXを介して読み込まれる動的コンテンツをGoogleにインデックス化するにはどうすればよいですか？

AJAXとSEOの他の多くのページでは、Googleがコンテンツを別のページとしてインデックスに登録できるようにすることを提案しています。これはここでは有効な解決策ではありません。アイテムのコメントを一意のページにする必要はありません。

私たちが検討している解決策：

ページの2つのバージョンを作成します（1つは静的、もう1つは動的）。

• www.example.com/page/comments_on（コメントを静的にロード）
• www.example.com/page（AJAXを介したページのロード後にコメントをロード）

次に、www.example.com / page/comments_onの正規URLをwww.example.com/pageに設定します。両方のURLをsitemap.xmlに配置します。

これは機能しますか？このアプローチの欠点は何ですか？この状況を処理するために他にどのようなアプローチがありますか？

一部のリンクに rel="nofollow" を追加しました。

「nofollow」がリンクに追加された後、Google がフォローを停止するのにどれくらいの時間がかかるか知っている人はいますか? 私は 1 時間前に追加しましたが、まだ「nofollow」リンクをクロールしているのが見えます。

HerokuでホストされているWatirを使用してHTMLスナップショットを生成したいと思います。

AJAXアプリケーションをクロール可能にするためのGoogleの完全な仕様は、 HTMLUnitの使用を提案しています...「HTMLスナップショットを作成するにはどうすればよいですか？」を参照してください。ポイント＃3。

HtmlUnitは、Java専用のヘッドレスブラウザエミュレータです。残念ながら、jRubyはHerokuのオプションではありません。したがって、HtmlUnitは除外されます（私の知る限り）。

興味があれば、Google App EngineでホストされるサービスとしてのHtmlUnitについて別の質問があります... AJAXアプリケーションをクロール可能にしますか？Google App Engineで簡単なWebサービスを構築してHTMLスナップショットを作成するにはどうすればよいですか？...まだ証明された例/答えを待っています。

多言語 Web サイトの index.php として次のコードがあります。使用可能な言語ごとにサブディレクトリがあります。

?>

問題は、ユーザー ブラウザーではこれが完全に機能するにもかかわらず、検索エンジン (Googlebot など) では次のエラーがスローされることです。

エラー処理を試みましたが、私は PHP プログラマーではなく、CF プログラマーなので、本当に助けが必要です!

私の評価システムでは匿名ユーザーが評価を追加できますが、Googleのクローラーが評価を行っています。

Googlebotがリンクをたどらないようにするにはどうすればよいですか？

この ajaxForm jQuery pluginを使用したフォームを持つページがあります。フォームが送信され、完了すると、$.get() を使用して呼び出しが行われ、新しいコンテンツがページに読み込まれます。

私の問題は、Googlebot が $.get() メソッドで URL のインデックスを作成しているように見えることです。

私の最初の質問は、それは可能ですか? 私は、Googlebot がほとんどの場合 JavaScript を評価していないという印象を受けました (!# を使用して URL のコンテンツをインデックスに登録できるという記事を読みました)。

2 番目の質問は、Google がこの呼び出しをその URL にインデックス付けしている場合、それを防ぐ方法はありますか?

前もって感謝します。

Googlebotは、私のWebサイトでajaxメソッドを呼び出そうとし続けます。例：default.aspx / GetStuffWithAjax

問題は、クエリ文字列がid = xxxxであるかどうかを呼び出す前に、JavaScriptでチェックしているため、このメソッドをgoogleが呼び出すことができないことです。グーグルがたどることができるこのクエリ文字列のどこにもリンクはありません。

ボットがHTMLコードでPageMethods.GetStuffWithAjaxをスキャンしてから、ajaxメソッドを呼び出そうとする可能性はありますか？そして、どうすればこれを防ぐことができますか..誰か？

私はGoogleAdSenseボットのアルゴリズムとWebサイトでの動作に興味があります。私はAdSenseを使用していませんでした、そして私はアカウントを持っていません。だから私はあなたの助けが必要です：

1）Gbotは、Webサイトからすべてのページをダウンロードすることがあります。私は正しいですか？

2）Gbotは動的コンテンツ（ajaxによってロードされる）を理解しません。したがって、静的コンテンツを生成してhtmlページ内に返す必要があり、このページにはすべてのユーザーとGbotに対して同一のコンテンツが表示される必要がありますか？

3）（1）と（2）のため、 「メイン」ウィジェットでルートパスhttp://example.comのみを使用することはできません。たとえばhttp://example.com/thread?id=101？などの一意のページを生成する必要があります。

4）Gbotはページ（1）をダウンロードしてキーワードを取得（インデックス作成）し、これらの情報をたとえばキー/値（キーはページパス、値はタグクラウド）ごとに（サーバーに）保存します。私は正しいですか？

5）ユーザーがブラウザでウェブサイトを開いたとき。統合されたhtmlAdSenseのコードはいくつかのJavaScriptをロードします。私が「グーグル」で理解しているように、このJavaScriptはページのインデックスを作成しませんが、（いくつかのパラメーターkey == page_pathを使用して）Googleのサーバーを呼び出し、適切な広告リンクを取得します。次に、この広告リンクをフレームに表示します。それは正しい行動ですか？たぶんJavaScriptはページのコンテンツのローカルインデックスを作成しますか？

6）GbotとAdSenseのJavaScriptはCookieとどのように連携しますか？私が理解しているように、AdSenseは適切な広告リンクを表示するためにCookieを使用できます。正しければ、いくつかのユースケースを教えてください;）

「真の」アルゴリズムは、Googleのエンジニアだけが知っていることを私は知っています。しかし、AdSenseとAdSense html/javascriptの経験がある人もいます。私のビジョンを修正してください;）

アドバイスありがとうございます!!!

PSこの質問は私にとって非常に重要です。それは楽しみのためのいくつかの質問ではありません！だから閉じないでください;）

私のサイトhttp://www.mustseeindia.com/places-around-bangalore "" は有効な URL です。

クロール中に、MSN ボットが文字列を追加し、クロール エラーが発生します。

MSN ボットによって追加された文字列- "&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25"

MSN ボットによって生成された間違った URL - http://www.mustseeindia.com/places-around-bangalore&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25

これにより、サイトの何千ものページが MSN によってクロールされなくなります。これを処理するにはどうすればよいですか?

Asp.netサイトが検索エンジン（サイト全体）でインデックスに登録されない原因を特定するのに最も苦労しています。グーグルの「FetchAsGooglebot」ツールを使用すると、以下のエラーがスローされます。私のサイトがセッションを無効にして動作することを確認しました（つまり、web.configでsessionMode = "Off"を設定します）、ウェブ全体をグーグルで検索しましたが、それでも運がありません。

これが私がgooglebotから得ているエラーです：