私の問題：
より多くの製品を表示し、ページの負荷/重量を追加する私のクライアント サイト。そこで、より多くの製品をロードする ajax を使用することにしましたが、うまく機能します。しかし、ここではseoに影響を与えます-製品や取引はインデックス化されていません（クライアントにgooglebase経由で製品を送信することを提案しますが、クライアントはその考えを好まず、サイトへの直接のGoogleクロールを望んでおり、ページの読み込み時間も短縮したいと考えています）。
質問: サーバーに対する googlebot のクロール リクエスト、またはサイト (サーバー) に対する mozilla のようなブラウザー ユーザー エージェント リクエストを識別できますか。
私が持っている提案
リクエストからユーザー エージェントを特定しようとしましたが、うまくいきません (または、何か不足している可能性があります)。ajax を使用してページの読み込み時間を短縮し、Googlebot にもウェブサイトをクロールさせるために、この問題の正しい解決策を誰かに教えてください。
「GoogleAJAXSEO」のstackoverflowを検索する必要があります。これについては多くの質問があります。
つまり、GoogleにはAJAXサイトをクロール可能にする仕様があります：https ：//developers.google.com/webmasters/ajax-crawling/docs/getting-started？hl = sv-SE
また、SEOオプションとしてPushStateを調べることもできます。
これを解決するために使用される 1 つの戦術は、使用しているフレームワークまたは CMS のページネーション機能を活用することです。コンテンツの 1 ページを読み込み、ビューにページネーション リンクを表示し、JavaScript を使用してページネーション リンクを非表示にし、リンクされたページネーション ページのコンテンツを Ajax 経由でフェッチして、現在のページに追加します。インスピレーションを得るための無限スクロールの仕組みを見てみましょう。
http://www.infinite-scroll.com/
基本的に、検索エンジンがコンテンツをクロールできるように、少なくとも他のコンテンツを含むページへのリンクをロードする必要がありますが、JavaScript が有効になっているユーザーに対してこれらのリンクを非表示にすることができます。
しかし、あなたの質問によりよく答えるために、htaccess を使用してロボットをリダイレクトすることが可能です: htaccess apache を使用してすべてのボットをリダイレクトします。
しかし、私が理解している限り、ページ上で実際にコンテンツやリンクを利用できるようにする方が、より良い SEO です。