私のウェブサイトには約 200 の役立つ記事があります。Web サイトには多くのパラメーターを使用した内部検索機能があるため、検索エンジンは、タグ、検索フレーズ、バージョン、日付などの追加パラメーターのすべての可能な順列で URL をスパイダーします。これらのページのほとんどは、単に検索結果のリストです。元記事の一部を抜粋。
Google の Webmaster-tools によると、Google は xml サイトマップの 200 エントリのうち約 150 のみをスパイダーしました。オンラインになってから何年も経ってから、Google はまだすべてのコンテンツを見ていないようです。
検索エンジンがこれらの動的 URL をスパイダーしないように、robots.txt に "Disallow:" 行をいくつか追加する予定です。さらに、Webmaster-tools の "website configuration" --> "url parameter" セクションでいくつかの url パラメーターを無効にする予定です。
それによって、現在の SEO ランキングが改善されますか、それとも損なわれますか? 私のウェブサイトが何千ものコンテンツ ページを失ったかのように見えます。