問題タブ [google-crawlers]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
meta-tags - jsによって生成されたメタはグーグルクロールによってインデックス化できますか
質問はタイトルのようなものです。jsを使用してメタタグを生成し、それをヘッドタグに追加すると、メタコンテンツをグーグルでインデックス化できますか？
ajax - 私の ajax コンテンツが Google のインデックスに登録されないのはなぜですか
https://developers.google.com/webmasters/ajax-crawling/のガイドラインに従って、自分のサイト ( http://www.diablo3values.com ) をセットアップしようとし ましたが、Google はインデックスを更新しましたが (メタ ディスクリプション タグのリビジョンが表示されるため)、インデックスに ajax コンテンツが表示されません。
「ハッシュ フラグメントのないページを処理する」オプションを使用しようとしています。
次のいずれかを表示した場合:
http://www.diablo3values.com/?_escaped_fragment_=
http://www.diablo3values.com/about?_escaped_fragment_=
私のコンテンツの HTML スナップショットが正しく表示されます。（これらは私が最も懸念している2つのページです）。
何か案は？私は何か間違ったことをしていますか？Googleにタグを正しく認識させるにはどうすればよいですか。
robots.txt - 承認権限エラーの増加 - Google ウェブマスター ツール
「認可許可エラーの増加」
私のサイトの 1 つで、過去 2 晩にわたってウェブマスター ツールでこのエラーが発生しました。このエラーの原因と思われる唯一の変更は、robots.txt ファイルです。
これです：
このロボット ファイルは検証され、ウェブマスターでテストを実行して、Google がページをクロールできるかどうかを確認しました。5 行目で Googlebot が許可されていると表示されていますが (これは正しいです)、
下部にあるのは、Googlebots のコマンドをオーバーライドしていますか?
このエラーが発生する前に、
すべてのボット固有のコマンドの上に-しかし、それは検証されませんでしたが--「認証許可エラーの増加」エラーも発生しませんでした。
ご協力いただきありがとうございます。
seo - クロールできないタブ内のコンテンツ。PhP
Web ページに複数のタブを作成しましたが、デフォルトのタブのコンテンツのみが Google クローラーによってクロールされます。他のタブのコンテンツは、キャッシュされたコピーのテキストのみのバージョンで確認すると、Google クローラーによってクロールされません。誰でもコードを見て、クロール可能にするために何をすべきか教えてもらえますか?
javascript - backbone.js の SEO - ページがレンダリングされた後に Google にページをインデックスさせる方法は?
バックボーン js アプリケーション フレームワークを使用して Web サイトを構築しており、html5 プッシュ状態で URL を変更しています。すべてのコンテンツは js を介してレンダリングされており、基本的に、ページ レンダリング メソッドの前の dom は多かれ少なかれ空です (コンテンツのないコア構造だけがあります)。ボットは Web サイトの実際のコンテンツをクロールしないため、これは検索エンジンにとって非常に悪いことだと思います。
回避策はありますか、最初の初期化でサーバー側のテクノロジーを使用してコンテンツをレンダリングする必要がありますか? 完全なロジック、モデル、テンプレート、およびすべてがjsで記述されているため、これが唯一のオプションではないことを本当に望んでいます...
phantom.js でこの仕事ができると聞いたことがありますか? サーバー側のスクリプト作成に node.js を使用する方が簡単でしょうか?
web-crawler - クローラーは Web サイトのルートから Robots.txt ファイルを取得しませんが、Web のルートから取得します
robots.txt を使用して、クローラーが Web ルート (私の場合は /var/www/) をクロールするのをブロックしました。/var/www/ に robots.txt があり、その中に次の行があります: Disallow /
ここで、Web ルート (/var/www/mysite.com) のサブディレクトリの 1 つがクローラーによってクロールされる必要があります。そのディレクトリに robots.txt を追加し、apache に virtualhost を追加して、この mysite.com をクロールできるようにしました。しかし、クローラーはまだ (/var/www/mysite.com) ではなく、私の Web ルート (/var/www) から robots.txt を取得しています。
助けてくれてありがとう。
seo - ハッシュバングのあるページを含めることは有害ですか?
このメタタグについて、Google は次のように述べています。
次の重要な制限が適用されます。
- メタ タグは、ハッシュ フラグメントのないページにのみ表示されます。
- それだけ "！" コンテンツ フィールドに表示される場合があります。
- メタ タグは、ドキュメントの先頭に表示する必要があります。
ソース: https://developers.google.com/webmasters/ajax-crawling/docs/specification?hl=fr-FR
ハッシュバングを含まないがスナップショットを提供する必要があるページにのみ必要であることは承知しています。しかし、それは通常、ホームページだけです。
私たちが持っているとしましょう：
www.foo.com
www.foo.com/#!/jobs
2 つ目は次のようにフェッチされます。
www.foo.com?_escaped_fragment_=/jobs
ハッシュバンのためだけに。
ただし、ルート ページにはハッシュバンがないため、この特別なメタ タグを head に含める必要があります。
しかし、<head>これまでのところ、私の単一ページ アプリケーションはすべて同じものを使用しているので、ハッシュバングを含む他のすべてのページにメタ タグを保持することは実際に有害なのだろうかと思います。
実際どうなるの？