私はこのRailsアプリをドメイン名で持っていますabc.com。また、このサブドメインには、Piwik統計用の個別のサブドメインがありstats.abc.comます。

Googlebotはどういうわけか私のサブドメインとのリンクのいくつかをリストしました。

のあるものstatsはアプリ内の同じページを参照しますが、まったく異なるWebサイトとして扱われます。

robots.txt私はこの問題の後に入れましたstatsが、将来新しいサブドメインがあるかもしれないので、これをブロックする適切な方法があるかどうか疑問に思います。これが私のコンテンツですrobots.txt

ありがとう。

このサイトの robots.txt を見てください。

fr2.dk/robots.txt

内容は次のとおりです。

これは、サイトをインデックスに登録しないように Google に指示する必要がありますね。

true の場合、サイトが Google 検索に表示されるのはなぜですか?

ウェブサイトの最初の数日間、いくつかのリンクの生成を間違えました。それらに従うと、データベースエラーが出力されます。

Google ボットがこれらのリンクをたどろうとした結果、ウェブマスター ツールでクロール エラーとして表示されるようになりました。その後エラーを修正しましたが、Google は引き続きそれらをクロールしようとします。

そのようなリンクはもはや存在せず、どこにもつながっていないことを Google に伝えるにはどうすればよいでしょうか? リンクが有効であり、それらをインデックスに登録しても問題ないという 301 リダイレクトの原因を特定することはできません。

訪問者が Googlebot かどうかを理解する方法は? ASP.net 4.0 & C#

つまり、訪問者が Googlebot かどうかを理解したいということです。

Google Botが原因でウェブサイトのどこかに書き換え再帰エラーが発生しましたが、ログレベルが低いため、原因となったURLが見つかりません。私はそれを上げましたが、それは今のところ二度と起こりません。

これを除いて、すべてのRewriterulesは私には見栄えがよく、[L]フラグが付いています。

よくわかりません。これは、オープンソースショップシステムのMagentoからのものです。

私が知る限り、それは環境変数Eを設定するだけです。しかし、それは非常に愚かな方法ではありませんか？それが目標だった場合、SetEnvを使用するべきではありませんか？

売り手が次のことを行えるようにするサイトを構築しています。

• 自分のサイトに製品をリストする
• 各製品のリンクを販売者のサイトに戻す
• リンクがクリックされるたびに課金される

私が今しなければならないことは、売り手のサイトへのリンクをたどる実際の人間のユーザーだけをログに記録していることをどうにかして確認することです。ボットがサイトをクロールしている場合、売り手に料金を請求するべきではありません。

ボットに特定のリンクをたどらないように指示する方法はありますか? nofollowコンテンツへのアクセスをブロックすることを意図していないので、そうではないと思います。

Web サイト用に JSON ベースの WS を使用しており、Google Bot から ASMX ファイルへのノンストップ リクエストを受け取ります。

これらのリクエストを停止するにはどうすればよいですか?

注：ここでそれについて読んでみましたが、WSのエレガントなソリューションを提供していないようです。

/w HTTP リクエストを受け取る例外は次のとおりです。

過去数か月間、googleBot は私のサイト [index.php] にもう存在しないファイルにアクセスしていました。これは、適切な言語の適切なホームページへのすべてのルーティングが htaccess の apache 書き換えルールを介して処理されているためです。

DirectoryIndex index.php 答えとして、.htaccessルールをコメントアウトしました。

現在、すべてが崇高に機能します。http://website.orgルートは、 /en/home301 の永続的なリダイレクトを介して即座にリダイレクトされます!

しかし

66.249.67.142 / == crawl-66-249-67-142.googlebot.com が、存在しない index.php を読み込もうとして何度も私のサイトにアクセスしています。私は何をすべきか？？

そのようなエントリを含むエンドレス エラー ログ ファイルへのスニーク ピーク (かわいそうな googlebot は、よりインテリジェントである可能性があると思いました...)

ajax サイトを googlebot が Web クロールできるようにするには、_escaped_fragment 変数が設定されたページの場合に、Web サイトが HTML スナップショットを送信する必要があります。（詳細については、こちらを参照してください）

この HTML スナップショットのスタイルを正しく設定する必要がありますか。つまり、Googlebot はスナップショットを使用してサイトのプレビューを提供しますか (検索結果ページに表示されるように)。一部のページでは JavaScript を使用して動的に画像のサイズを正しく変更するようお願いしています。これは CSS で行うことができないためです。

ありがとう

それがどのように機能するかはまだわかりません（しかし、それは要点ではありません：D）。私が気付いた限りでは、コンテンツ全体（ほぼ：D）はiframe内にあり、チャットウィンドウはiframeの外にあります。リクエストはおそらくajaxを介して行われ、URLはこのconst_part_of_url＃somethingのように変更されます。したがって、URLアンカー（またはそれが呼ばれるもの）のみが変更されます。

私を悩ませている2つのこと：

• googlebotはどうですか、それらのページを正しくインデックスに登録できますか（gmailではありませんが、同様の「テクノロジー」が使用されているWebページを言います）、1つ目はiframeのため、2つ目はURLのアンカー変更のみのためです。

• アンカーだけでなく、URLの一部を変更することは可能ですか？

問題は、これらのmp3も聞くことができるmp3検索エンジンを持っていることです。プレイリストを備えたこの種のフローティングの「リロードしない」プレーヤーはちょっとクールです：Dしかし、適切なページのインデックス作成やその他のSEOについては非常に心配しています何とか何とか...だから私はそれが試す価値があるかどうか本当に今はしません：D

乾杯