問題タブ [googlebot]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
seo - フォト ギャラリーの更新を Googlebot に提供するにはどうすればよいですか?
サイトのフォト ギャラリーが更新されたときにリダイレクトを設定するにはどうすればよいですか?
一部の写真が削除されたため、Googlebot は今のところ 404 を取得します。しかし、それらの古い写真に代わるものはありません。同じトピックに新しい類似の写真がいくつかありますが、同じではありません。
リクエストをどこかにリダイレクトする必要がありますか? たとえば、 へのリクエストによってログがあふれてしまう/images/some.jpg
ため、これを (どこに?) にリダイレクトします。
html - 検索エンジン以外の全員にライトボックスを表示しますか?
ページの読み込み時にすべてのユーザーにライトボックスを表示できるが、Google には表示しないということはありますか? 私のスキルは非常に基本的な HTML であるため、詳細を含めて返信をいただければ幸いです。
編集: とにかく検索エンジンが javascript を読み込まないことに気付きましたよね? それが私の 2 番目の質問になります。ページロード時にライトボックスをロードするにはどうすればよいですか?
googlebot - Googlebot と FAMUOS $_SERVER['HTTP_ACCEPT_LANGUAGE']
$_SERVER['HTTP_ACCEPT_LANGUAGE']
PL と EN の 2 つの言語がある自分のサイトで行いました。
Google が私のサイト (TITLE と DESC を意味する) を PL から EN にそのように再インデックスするとは本当に思っていませんでした。
ポーランドのドメインをクロールしているので、PL を使用するべきではありませんか? うーん、理解できませんか?
とにかく、Googlebot を検出して PL を再設定できます
しかし、それはクローキングやスムシングではありませんか?
それをまっすぐにするための良い解決策を誰でも教えてくれるので、私とGoogleは幸せですか?
asp.net - 削除されたページをクロールしないように検索ボットを作成しますか?
現在、アウトWebサイトにKentico CMSを使用しており、pages/page1.aspxというページがありました。そのページを削除しましたが、毎日google、bing、yahoosarchロボットがそのページを読み込もうとしています。ページが存在しないため、CMSは次のエラーをスローします(ログに)
これらのエラーが多すぎると、サイト全体がクラッシュします(.Net一時ファイルをクリアしてアプリプールを再起動する必要があります)。基本的に、存在しないページに移動し、何度も更新を押してサイトを停止することができます。非常に悪い。ただし、まず、ボットにこのページへのアクセスを試みないようにするにはどうすればよいですか?
前もって感謝します。
django - Django で、検索エンジン スパイダーの @login_required を無効にします
検索エンジンのスパイダーが @login_required をバイパスして、通常はログイン ユーザーが必要なページを表示できるようにするクリーンな方法を探しています。検索エンジンを自動的にダミー アカウントに記録するミドルウェアを作成することはできますが、それは正確にはクリーンとは言えません。より良い解決策の提案はありますか? ありがとう。
jquery - /a ディレクトリのウェブマスター ツールで jQuery が原因で 404 エラーが発生する
Googlebot が jQuery 内をクロールして、存在しない /a で終わるリンクを作成し、404 エラーとして報告しているようです。
このサイトは、W3C でグリーンを検証しています。
「/a」はjQuery自体の内部から来ています。 編集: 以下は、jQuery v1.5 および 1.5.2 内のコード行です (私が調べたのは 2 つだけです)。
今のところ、手に負えなくなる前にhtaccess内でリダイレクトしています...
Googlebot が jQuery 内に入る理由/方法を知っている人はいますか?
編集:
それ以来、robots.txt ファイルで jQuery ファイルをブロックしましたが、Googlebot が外部の JavaScript ファイルに入るとはまったく予想していませんでした。
編集2:
以下は、私が Google Groups で開始したスレッドで、この問題に関する Google の従業員 JohnMu からの応答です。やっぱり301にしようかな。
ジョンムー
Google 社員
午前4時39分
こんにちは、みんな
これに関する簡単なメモ -- はい、多くのサイトの "/a" リンクを jQuery JavaScript から取得しています。ただし、通常は問題ありません。"/a" が 404 として表示される場合は問題ありません。他の 404-URL と同様に、ウェブマスター ツールではクロール エラーとしてリストされますが、これもクロール、インデックス作成、またはランキングの問題にはなりません。ウェブマスター ツールでクロール エラーが発生しないようにしたい場合は、その URL をホームページに 301 リダイレクトすることをお勧めします (URL を許可しないと、クロール エラーとしても表示されます。次のようにリストされます)。 robots.txt で許可されていない URL)。
また、jQuery ファイルのクロールを明示的に禁止しないこともお勧めします。通常、独自にインデックスを作成することはありませんが、サイトの優れたインスタント プレビューを生成するためにアクセスする必要がある場合があります。
要約すると、ウェブマスター ツールのクロール エラーに「/a」が表示されている場合は、そのままにしておくことができます。問題は発生しません。そこで削除したい場合は、ホームページへの 301 リダイレクトを行うことができます。
乾杯
ジョン
asp.net - Googleボットの問題
私は2つのウェブサイトを持っています。1つは母国語で書かれており、もう1つは海外のユーザー向けに英語で書かれています。海外のユーザーの15%は、なんとかしてネイティブWebサイトにアクセスし、国際サイトにアクセスすることもできます。
私は.NETIPロケーションサービスを使用して、ユーザーがどこから来たのかを特定し、間違った場合に備えて正しいWebサイトにリダイレクトします。問題は、世界中のGoogleボットがどの国でもIPが異なる可能性があることです。つまり、これらのユーザーと実際のユーザーを区別して、間違ったタイプのユーザーを正しいタイプのWebサイトにリダイレクトしながら、ボットを自分のサイトに保持できるようにする方法です。 ?
robots.txt - robots.txt ファイルでサイトをクロールしないように指定されているにもかかわらず、Googlebot がサイトをクロールする
開発中のため、Google によるサイトのクロールを停止するように robots.txt を設定しました。
しかし、ログは、Googlebot が私のサイトのさまざまなランダムな部分にアクセスしていることを示しています。一度に 1 ページだけです。彼らがこれを行う理由と、それを防ぐにはどうすればよいですか?
ログの抜粋:
66.249.72.174 - - [07/May/2011:08:12:11 -0700] "GET /?page=2&atype=new&filter=h HTTP/1.1" 200 10156 - "Mozilla/5.0 (互換; Googlebot/2.1; + http://www.google.com/bot.html),gzip(gfe),gzip(gfe),gzip(gfe)"
Google に自分のサイトをクロールしてもらいたいのですが、まだです。
selenium - セレンを使用したユーザーエージェントgooglebot
セレンを使用して、自分の Web ページを Googlebot として呼び出そうとしています。以下は私のコードですが、トラフィックをリダイレクトしてWebページをgooglebotとして表示します...誰かがリクエストをプログラムでgooglebotに送信するのを手伝ってくれますか?