不思議な理由で、Google はこれらの両方のアドレスをインデックスに登録しており、同じページにつながっています。
/something/some-text-1055.html
と
/index.php?pg=何か&id=1055
(急なお知らせ - このサイトには開設以来、フレンドリーな URL がありました。Google がどのようにして「index.php?」の URL を見つけたのかわかりません - パスワードで制限されているコンテンツ管理システムにのみ「フレンドリーでない」URL があります)
状況を解決するにはどうすればよいですか? (私は二重索引付けされた約 1000 ページを持っています。) 誰かが私に「disallow: index.php?」を使用するように言いました。robots.txt ファイル内。正しいか間違っていますか？他の提案はありますか？
サイト コンテンツのインデックス作成において、Google ボットがどれほど普及し、迅速であるかに驚かれることでしょう。意図しないページ/リンクを作成する多くの CMS システムと組み合わせることで、ある時点でそれらのリンクが公開される可能性が高くなります。また、管理エリアが思ったほど安全ではない可能性もあります。Google ボットはその方法で侵入しました。
行儀が良く、Google が推奨する、ここで行うべきことは次のとおりです。
可能であれば、クエリ文字列スタイルの URL から標準スタイルの URL への 301 リダイレクトを作成します。「やあ、ウェブ ボット/ブラウザ、以前はこの URL にあったコンテンツが、この別の URL にある」と言っているのです。
robots.txt でクエリ文字列のコンテンツをブロックします。それは、スパイダーやその他の自動化されたプログラムに「ねえ、このようなものを見ないでください。これらはあなたが探している URL ではありません」と尋ねるようなものです。
Googleでは、ページの上部にある <link /> タグを使用して正規 URLを指定できるようになったようです。これらを追加することを検討してください。
行儀の良いことをすることが「正しい」ことであるかどうかについては、Googleのランキングについて...誰にもわかりません。アルゴリズムが現在どのように機能し、将来どのように機能するかを知っているのは「Google」だけです。Google とは、検索がどのように機能するかについて相反する目標を持っている多数のエンジニアと経営幹部を意味します。
Google は、ページの正規 URL を指定する方法を提供するようになりました。HTML で次のコードを使用して、正規の URL を Google に伝えることができます。
<link rel="canonical" href="http://www.example.com/product.php?item=swedish-fish" />
Google の正規 URL の詳細については、この件に関するブログ投稿を参照 してください: http://googlewebmastercentral.blogspot.com/2009/02/specify-your-canonical.html Microsoft Live Search と Yahoo! すべて正規タグをサポートしています。
サイトマップ ジェネレーターを使用して検索エンジンに送信する場合は、それらも禁止する必要があります。それらは、Google がフォルダのクロールやログのチェックからリンクを取得した場所である可能性があります。
どの URI が要求されたか ( $_SERVER['REQUEST_URI']) を確認し、要求されていた場合はリダイレクトすることをお勧めし/index.phpます。
ページは既にインデックスに登録されているため、robots.txt を変更しても役に立ちません。
最適な方法は、永続的なリダイレクト (301) を使用することです。
Google によってインデックスに登録されたページを削除する場合、多かれ少なかれ唯一の方法は、404 not found メッセージを返すようにすることです。
同様の URL にフォームを投稿していて、Google が単にソースからそれを取得している可能性はありますか?