Googlebot は、不適切なクエリ文字列パラメータを使用してサイトの 1 つをインデックスに登録することがあります。このクエリ文字列パラメーターを取得する方法がわかりません (不適切なリンクを使用してリンクしているサイトはないようです。また、サイトに不適切な値を挿入しているものはありません)。予想どおり、不適切なパラメーターにより、サイトは 500 エラーをスローします。
Google は 500 エラーを返すページをインデックスに登録しないという印象を受けましたが、実際にはそうであることが判明しました。だから今、私は2つの質問があります：
1) Googlebot が不正なクエリ文字列値をランダムに挿入するのはなぜですか? (この質問に対する答えはあまり気にしませんが、それを回避するために何かできることがあれば、問題は解決するでしょう。)
2) Google が 500 エラーを返すページをインデックスに登録するのはなぜですか?
以下は、Googlebot が作成し、Google がインデックスに登録した誤ったリンクの 1 つです。
http://www.pbs.org/teacherline/catalog/browse/?sa=4&gb=baqhuxts&gb=20&gb=21&num=20&page=2&js=0&sa=1
不適切なパラメータは gb=baqhuxts です。パラメータ 'gb' は整数である必要があります。クエリ文字列からそのパラメーターを削除すると、見栄えの良いカタログ ページが表示されるはずです。
nofollow と robots.txt のソリューションについて: [編集済み]
私は自分がばかであることに気づき、検索ロボットにページをインデックス化するように指示するメタ タグを付けました。それはばかげたことでした。私はそれらを削除しています。W-(
Google で 'baqhuxts'を検索すると、この不適切なパラメーターを使用して 10 ページのインデックスが作成されていることがわかります。しかし、これらのページはそれぞれ 500 エラーを返します。Google がこれらのページをインデックスに登録するのに有効であると考える理由について、誰か洞察を持っている人はいますか?