問題タブ [google-crawlers]

それは私のウェブサイト www.shapestudios.de です

私はすでに1年以上この問題を抱えており、可能な限りあらゆることを試しました。 コンテンツ SEO 最適化、メディア SEO 最適化、Google ウェブマスター ツールに送信された XML サイトマップ。 また、bing ウェブマスター ツール、alexa を使用し、yoast を使用して URL を最適化しました。メタデートはバッチリ！それは決して現れません。

Google で ( link:shapestudios.de ) を検索すると、プラグインからの愚かな readme テキストだけが表示されますが、実際の Web サイトではありません。表示されるのはテキストファイルだけなので、何とかphpに関連していると感じています。しかし、画像はどうですか？

ドイツで 1&1 のサーバーを使用しています。サーバーが Google ボットによる Web サイトのクロールをブロックしているように感じます。サーバーダッシュボードにボットを許可またはブロックするオプションが見つからなかったため、実際にはわかりません。

誰か助けてください!!! :)

この URL /54.86.51.30/search-space-for-rent/Houston#! で fetch as Google を実行しようとしました。そして、私は結果からこれを得ました

サーバーログを見ると、Google がこの URL で私のサイトにアクセスしたことがわかります。 "

しかし、この URL /54.86.51.30/search-space-for-rent/Houston?_escaped_fragment_= を Google としてフェッチすると、自分のページの HTML スナップショットが取得されます。

/54.86.51.30/search-space-for-rent/Houston# の HTML スナップショットを取得できないのはなぜですか! 「#!」があるので 最後に

アルコール会社の .net で Web アプリを作成しました。

クライアントは、ユーザーが自分の国の年齢であり、条件に同意しない限り、Web サイトへのすべてのアクセスを拒否するよう要求しました。

この機能を実装するには、すべてのトラフィックを検証ページにリダイレクトするだけで、新しいセッションを設定して、(今回の訪問で) 条件に同意したことを示すことができます。セッションが設定されると、サイトは完全にアクセス可能になります。

私の問題は、Google などにサイトのすべてのページをクロールしてインデックスしてもらいたいということです。ボットが年齢確認ページに引っかからないようにするにはどうすればよいですか。サイト全体が確実にクロールされるようにするためのベスト プラクティスは何ですか。

クライアントにウィジェットを提供しています。クライアントの Web ページにデプロイすると、価格データが表示されます。ウィジェットは PHP で作成され、次のように iframe を使用してデプロイされます。

ウィジェット内には、自分の Web サイトにリンクするアンカー タグがあります。

これをGooglebotなどでクロールして、そこからSERPSリンクを取得できるようにしたい.

いくつかのクライアントがウィジェットをデプロイしましたが、iframe コンテンツが Google によってクロールされているようには見えません。基本的に、これらの Web サイトからのリンクは表示されません。ウィジェットが展開されている Web ページは、Google で上位にランク付けされ (PR 2,3)、優れたドメイン権限を持っているため、それが問題ではないことはわかっています。

ウィジェットを (iframe の代わりに) 展開して、Google がクロールできるようにするより良い方法はありますか?

Google によるサブドメインのクロールを禁止する方法を教えてください。

ウェブスペース フォルダの写真を作成しました。awesom メディア フォルダーは、メイン サイト www.awesom-media.de があるフォルダーです。フォルダ

もう 1 つはサブドメインです。私が欲しいのは、Googleがこれをクロールすべきではないということですが、方法がわかりません。

awesom メディア フォルダーに robot.txt はありませんが、/ の部分で確認できます。robot.txt の内容は次のとおりです。User-agent: * Disallow:

以上です。

サブドメインをクロールしないように Google に指示するにはどうすればよいですか

JavaScript/AJAX コードで参照されている Web サービスの URL を GoogleBot がクロールしていることがわかります。URL は既に除外として robots.txt に含まれていますが、Google は何をクロールするかを決定する際にrobots.txtに従わなくなったようです。

ありがたいことに、これらのサービス URL はアクションを実行するのではなく、データを返すだけですが、収集する統計を台無しにしてしまうため、非常に望ましくありません。個人的には、Google が Javascript コード内の任意の文字列をクロールしない限り、Web サービスの URL をどのように見つけているのかわかりません (これはありそうもないことです)。

一部の URL では、これにより Web サイトから大量の Elmah エラー メッセージが表示されます。

System.InvalidOperationException: '/GetShortlists' で終わる予期しない URL の要求形式が認識されません。" ... POSTのみをサポートしている場合、Google は URLを取得しようとします。

URL を検索するコードは次のとおりです。

では、スラッシュを置き換えて何らかの形で URL を難読化する必要がありますか、それともこれらのクロールを停止するより良い方法はありますか?

Google画像検索で画像を集めたい。ただし、常にエラーが通知されます。

たとえばhttps://www.google.com/search?q=banana&hl=en&gws_rd=ssl&tbm=isch、私のブラウザでは URL に問題はありませんが、Web ハーベストでは次のように報告されます。エンティティ「gws_rd」への参照は「;」で終了する必要があります。デリミタ。

「&」は webharvest の特殊文字だと思いますが、それに関する情報は見つかりません。理由がわかりますか？

これはコードです：

WordPress で構築したウェブサイトで、カスタム投稿タイプの 1 つの名前を「A」から「B」に変更し、いくつかのカテゴリの階層も変更しました。

現在、問題は、Google が古い 'A' CPT 名と古いカテゴリ構造をインデックス化/クロールしていることです。これにより、ランダムなページ ( WordPress が推測して URL にこれらのキーワードを含むページを表示するため) または 404 エラーが発生します。

Google がサイト全体を再インデックスし、新しい構造を尊重し始めるには、(ウェブマスター ツールを使用して) どうすればよいでしょうか? ありがとう。