1

6か月以上前に自分のサイトのURLの構造を変更しました。従来のURLの使用を検出し、301ステータスコードで新しいURLにリダイレクトします。リクエストに応じてステータスコードが正しく返されることをflidderで確認しました。しかし、ボット（yahoo slurps、googlebotなど）はまだ古いURLにアクセスしています。足りないものはありますか？

4

4 に答える 4

3

いいえ、クローラーがメッセージを取得するのに非常に長い時間がかかります。私は2005年以来存在していないアドレスをクロールするボットを持っています-人々がアドレスを永続的にハープするとき、彼らは本当にそうです。

さらに、URLの構造によっては、robots.txtを使用して古いアドレスを禁止することができます

于 2009-10-16T13:48:04.997 に答える
3

これを試すと、ボットにのみリダイレクトされます。

if (preg_match("#(google|slurp@inktomi|yahoo! slurp|msnbot)#si", $_SERVER['HTTP_USER_AGENT'])) {
    header("HTTP/1.1 301 Moved Permanently");
    header("Location: http://www.your-main-site.com/");
    exit;
}
于 2012-11-01T15:34:16.487 に答える
1

外部サイトが古いページにリンクしていて、ボットがそれらのリンクにまだアクセスできる場合、ボットは引き続きアクセスしてコンテンツにアクセスしようとします。

于 2009-10-16T13:55:09.960 に答える
0

ここにあなたのサイトアドレスを記載しました：

http://www.your-main-site.com/

それは、ドメインを転送するために使用し、時にはブラックハット seo のために使用します。

于 2012-11-01T15:38:28.450 に答える