問題タブ [google-crawlers]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
html - ページのURLはページの内部フレームにリンクしています
私は個人のウェブサイトを持っていますが、それは(私の能力の限りでは)テンプレートなしで作成しました。私はHTMLの経験があまりないので、これが悪い習慣であるかどうかは完全にはわかりませんが、ここに私の問題があります。
私のウェブサイトは、frameset3つのフレームを持つで構成されています。2つは変更されません(バナーとナビゲーションパネル)、もう1つはコンテンツです。メインフレームにコンテンツを表示する方法は、iframeを使用する方法です。ここで問題が発生します。私は自分のウェブサイトをクローラーに提案しました、そしてもちろんそれはコンテンツのためにすべてのページをクロールします。グーグルによって提案されたリンクの1つ(たとえば、プロジェクト)をクリックすると、ブラウザー.htmlは、残りのフレームなしで、その個々のファイルをロードします。つまり、フォーマットとページフレームを設定するmyを介してページにリンクするのではなくindex.html、HTMLをスタンドアロンページとしてロードするだけです。
これを回避する方法はありますか?私のウェブサイトのリンクが(私のドメインからではなく)外部リンクからクリックされた場合、ページは最初に私index.htmlの、次に関心のあるページをロードし、それがまるでそれのように見えるようにします私のインデックスから正常にアクセスされましたか?メインフレームにコンテンツを表示してiframeを回避する新しい方法を見つける必要があるのか、それともユーザーをリダイレクトするための簡単なスクリプトが必要なのかがわかりません。
役に立つかどうかはわかりませんが、作業しているフレームレイアウトをわかりやすく説明するために、ページの写真を添付しました。
どうもありがとう!!!

subdomain - サイトのサブドメインごとにサイトマップが必要ですか?
サブドメインでホストされているさまざまな小さなサイトを使用してサイトを構築しています。サブドメインとルート ドメインの間には多くのリンクがあるため、すべてのページに無理なくアクセスできます。
サイトごとに個別のサイトマップが必要ですか? 小規模なサイトの 1 つは WordPress ブログで、サイトマップの生成は簡単です。ただし、サイトマップ ジェネレーターがないものもあります。
各サイトのサイトマップが本当に必要ですか、それとも少なくとも 1 つのリンクがあれば、Google がすべてのページをクロールすることを期待できますか?
ajax - Ajax クロール可能なサイト - WaTin を使用して HTML スナップショットを取得する
Watin を使用して html スナップショットを取得し、Google の仕様に従って単一ページの ajax アプリをクロール可能にしたいと考えています。
Watin を使用して html スナップショットを googlebot に返す方法のコード例を教えてください。
これは私がこれまでに持っているものですが、正直なところ、これでどこに行くのかさえわかりません。実際にそれを明確にするWeb上の単一の例を実際に見つけていません。
コントローラ:
javascript - 検索エンジンはどのように Javascript をクロールしますか?
jQuery document.ready を使用して画像にランダムなキーワード alt attrb を追加すると (ページが既に読み込まれていると考えて)、検索エンジンにどのような影響がありますか?
検索エンジンは、JavaScript で追加した alt 属性を取得しますか? そうでない場合、どうして JavaScript 経由で送信された Ajax 呼び出しを理解できるのでしょうか?
代替テキストを入れ忘れた場合に備えて、クライアントのサイトにない画像に代替属性を追加したいと考えています。jQuery は空のものをキーワードに置き換えます。これは可能ですか?
java - SEO、グーグルクロール
以下のようなページネーションを実装しました
つまり、合計 213 個の製品があり、これが最初のページです。Google がウェブサイトでクロールしたページを確認すると、次のような結果が表示されます
これは、Google が何らかの方法で URL の末尾にすべてのページ番号を追加し、その URL をクロールしていることを意味します。誰かがこれを止める解決策を教えてもらえますか? この特定のケースでは、すべての製品情報を含む 1 つのページのみを Google にクロールしてもらいたいと考えています。
web-crawler - クローラー/検索エンジンはどのように Web をトラバースしますか?
商用検索エンジンのクローラーはどのように Web をトラバースしますか: 「シード ページを識別し、接続されたリンクを介して他のページを見つける」または「Web サイト wwwroot ディレクトリの下のすべてのファイルにインデックスを付ける」。
後のオプション検索エンジンの場合、他のページから参照されていないものをインデックス化する必要がありますか?
php - グーグルクロールphpページについて
私はウェブサイトを持っています、phpベース。グーグルが同じヘッダーで異なるコンテンツのPHPサイトをクロールするかどうか疑問に思っています。
http://www.nyitforums.com/professors/browse_all_prof.php?bdepartment=0
各「表示」ボタンは同じhtmlテンプレートを返しますが、結果は異なります。それで、グーグルはそれらすべてをクロールしますか?そうでない場合、どうすればこれを行うことができますか?前もって感謝します。
javascript - js スライダー ウェブサイト - Google クローリング
私は現在、jsスライダーを使用してWebサイトを構築しています。基本的に、サイトのすべてのページ (この場合はスライド) は、1 つの大きな html ページに含まれています。
これらのページ/スライドは、 などの<div>タグで編成されています<div id="#slide1">, <div id="#slide2" >
ページ/スライドをスライドすると、www.mysite.com/#!slide1、www.mysite.com/!#slide2 のように URL が更新されます。
クロール ボットに、各 div をページのように見なすように指示することはできますか?
スライドは ajax で読み込まれません。
asp.net-mvc-3 - GoogleBotや他の検索エンジンクローラーによってクロールされるべきではないインデックス付きページを修正するにはどうすればよいですか?
既存の.NetMVC3サイトで、URLがのようなページングを実装しましたwww.mysite.com/someterm/anotherterm/_p/89/10。89はページ番号、10はページあたりの結果数です。
残念ながら、rel="nofollow"3を超えるページ番号のリンクからが欠落しており、それらのページも欠落してい<meta name="robots" content="noindex,nofollow" />ます。
問題は、Googleと他のいくつかの検索エンジンがこれらのページのインデックスを作成し、それらすべてを頻繁にクロールしようとしていることです。これは、proddbサーバーに劇的な影響を及ぼし始めたことがわかりました。これらの追加の数千ページすべてをクロールするのではなく、最初の数ページだけをクロールします。
DBサーバーがそれほど大きな打撃を受けないように、コードをページングを含まないバージョンのサイトに戻しました。したがって、検索エンジンではこれらすべてのページで404エラーが発生しますが、しばらくしてからページングサイトを再度紹介するので、これが最善の方法かどうかを知りたいと思います。
以下をweb.configに追加して、すべての404をホームページにリダイレクトすることができます。
しかし、これを行うと、ページ付けURLパラメーターを持つすべてのページの「重複コンテンツ」としてレンダリングされると思います。
ここで、これらの404を1〜2週間継続させてから、ページングサイトを再導入するのが最善の方法ですか?
別のオプションは、3を超えるページのクローラーを拒否するためにいくつかのコードが追加されたページングサイトを解放することです。
それらのページをインデックスから削除して、クロールされないようにするためのより迅速な方法はありますか?
ありがとう。
web-crawler - SEO - クローラーはドメイン名自体をどのように処理しますか?
新しい Web プロジェクト用のドメインを取得する予定です。私は SEO の専門家ではありませんが、SEO、HIT、ページ ランクのアルゴリズムについて多少の知識があり、ドメイン名と SEO におけるその役割についても調査しました。
ドメイン名自体の役割について詳しく調べるのに苦労しています。おそらく、小さな例でこれを明確にすることができます。「親友」のための Web サイトを計画するとします。
次のようなドメインについて考えます。
- www.friends-best.com
- www.for-best-friends.com
- www.best-friends.com
- www.bestfriends.com
人々が検索エンジンに「親友」と入力するとしたら、どれが一番いいでしょうか? 「www.bestfriends.com」だと思います。
私の混乱: ドメイン名は異なる単語で構成されていません。それは 1 つの大きな文字列であり、すべての例には部分文字列 "best" と "friends" が含まれています。これらのドメインにまったく同じ Web サイト (タイトル、コンテンツ、alt タグ、サイトマップ、受信リンクと送信リンク、メタディスクリプション、すべての SEO 要素) が含まれている場合、検索エンジンはどのように処理するのでしょうか?