問題タブ [google-crawlers]

XMLサイトマップにPDFを追加する必要がありますか？

GoogleがPDFをクロールするかどうか知りたいです。

This should be an easy one for someone:

Will the <noscript> element cause the HTML page to serve only the content within the <noscript> tag itself to google crawlers and hide all the rest of my static content causing it so not to be indexed?

Thanks!

こんにちは 私は現在、ドロップダウン リスト メニューを含む Web サイトの SEO の改善に取り組んでいます。現在、オプションを選択してから JavaScript を送信すると、次のページにリダイレクトされます。

インデックスに登録したいリンクをドロップダウン リストの値に入れると、Google クローラーがそれをリンクとしてトラップしてインデックスに登録することができると何人かの人から聞きました。

個人的には、値のプロパティがリンクの href ではないことを考えると、うまくいかないと思います。また、Google クローラーがすべてのオプション値を解析して、有効なリンクかどうかを確認しようとするとは思いません。

質問は...皆さんはそれについてどう思いますか...リンクを値フィールドに単純に配置することは可能ですか、それともプレーンhtmlで非表示のメニューを作成する必要がありますか(リンクを含むタグ付きのli // ul)私のページのどこかに

クローラーがオプションの値でリンクをトラップできる場合.. リンク全体をhttp://.../page/page.htmlに配置する必要がありますか、それとも単純に /page/page.html に配置できますか?

御時間ありがとうございます。

私は数学関連のサイトを持っており、Google が私のサイトのサイトリンクを作成しました :) :) Google は私のサイトにある程度の優先順位を与えています

Google ウェブ マスター ツールを使用しています

そして、そのリストから不要なリンクをブロックするオプションがあります...

しかし、サイトリンクは正確には私のサイトのサブカテゴリではありません.

Google でのサイトリンクを決めることはできますか?

注: 「google-sitelinks」として新しいタグを作成しようとしましたが、評判がなければ作成できませんでした。

これが私の場合です。外部ソースを使用してhtmlデータをページにロードし、その後、このhtmlのコンテンツをdivに配置します。したがって、ページが読み込まれ、ajax呼び出しが終了するとすぐに、結果が表示されます。

動作します、わかりました。しかし今、この動的にロードされたコンテンツはGoogleボットによってクローワブルではないことがわかりました。これは私が好きではないものです:)

そのページページが実際にページのコンテンツを含んでいるグーグルボットに言う方法はありますか？

たとえば、http：//external.com/test.htmからページをロードし、それをdivにロードした場合、次のようなものを使用できますか？

？

私の質問を理解していただければ幸いです。そうでない場合は、コメントしてください。

ありがとう！

ホームページに5つの動的アーティクルがあります（ランダム）

グーグルが私のコンテンツをどれだけ速く読むか、

まず、本当にGoogleが私のコンテンツをcronするかどうかを教えてください。ページが更新されるたびに、コンテンツが変更されます。

だから私はこの疑問を持っています、

Googleはランダムなコンテンツをクロールしますか？

ありがとう

HTTP サーバーの観点から。

私はここ数年、主にphpでWebサイトを構築しています。いくつかのサイトにはcronジョブがあり、通常は1日に1回実行されます。cronjobsが実行するphpファイルは、サイトページを配信するファイルとともにサーバーに保存されます。

正当なものであれそうでないものであれ、さまざまなクローラーが私のサイトのさまざまなページにアクセスしていることを私は知っています。クローラーが私のcronjobファイルの1つにアクセスすると、cronjobがアクティブになり、望ましくない結果が生じることがあります。

私はこれが決して起こらなかったことをかなり確信しています、そして私はそれに感謝していますが、私はその理由を理解しようとしています。もちろん、私のcronjob URLのどこにもリンクはありませんが、リンクされていなくても、さまざまなクローラーが他のページにアクセスしたことは間違いありません。

この問題に対処するために他の開発者は何をしますか？robots.txtファイルに行を入れますか？cronjob-relate phpファイルの権限を設定しますか？

前もって感謝します。

イメージ マップが Google によってクロールされているかどうか、ある程度確実に知っている人はいますか?

パートナーのロゴが 10 個あるイメージ バーを実装し、imagemap を使用してパートナーの Web サイトにリンクしたいと考えています。Google のクモはそれをクロールできますか?

ありがとうございました

私のサーバーの 1 つでのヒットの半分以上は、何百万ものページを常にクロールしている Google Bot からのものです。

これほど多くのページがある理由は、会社が自動車部品店であり、製造元の部品番号と適合する車両の組み合わせごとに固有の URL があるためです。これは取り除けるものではありません。人々は常にこれらの用語を検索しており、それぞれに固有のランディング ページが必要です (もちろん、すべての競合他社がそれらを持っているためです!)。

このように、Google が知る必要のある何百万ものページがあります。つまり、24 時間体制でクローラーから 1 秒あたり数回のヒットが発生しているということです。これは、エンドユーザー トラフィックと同様に重要かつ必要なトラフィックです。

毎週何十万もの新製品がカタログに追加されているため、固有の URL のリストはますます長くなり、トラフィックは着実に増加しています。

Google ボットは Cookie に注意を払いません。つまり、毎回新しいセッションを取得するため、メモリ使用量が割り当てられた最大値まで急増します。

Tomcat7 と Struts を使用している他のユーザーは、このような大量の自動化されたトラフィックをどのように処理していますか?

私が試みる予定の方法は、ページ フッター JSP タイルで、各リクエストの最後にセッションを無効にすることです (ユーザー エージェント文字列が Google クローラーの場合のみ)。これはメモリを節約する効果的な手法ですか?

ボット トラフィックをより効果的に処理するのに役立つ他の戦略は何ですか?