2

どういうわけか、仮想 robots.txt がサイトhttp://www.domda.seを Google 検索からブロックしています。そうなってほしくない。

このサイトはWordpressで作成されており、Integrity設定で検索エンジン用に開いています（もちろん;）

私が試してみました：

  • プライバシー設定/検索エンジン許可をオフにしてから再度オンにします。

  • すべてのプラグインをオフにします。

  • 完全に許可する robots.txt をルート ディレクトリに追加します。

  • ロボット プラグインを使用して、robots.txt の内容を記述します

  • テーマを Twentyeleven に変更し、もう一度元に戻します

  • ftp でプラグイン フォルダをリセットする

私のphpの知識があまりにも低くて赤面してしまうので、誰かが私を助けてくれるのではないかと思います. 私が今考えていることは、functions.php を調べて問題を解決しようとすることです。

wp-includes/functions.php でコードを実行しているロボットは次のように述べています。

function do_robots() {
    header( 'Content-Type: text/plain; charset=utf-8' );

    do_action( 'do_robotstxt' );

    $output = "User-agent: *\n";
    $public = get_option( 'blog_public' );
    if ( '0' == $public ) {
        $output .= "Disallow: /\n";
    } else {
        $site_url = parse_url( site_url() );
        $path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
        $output .= "Disallow: $path/wp-admin/\n";
        $output .= "Disallow: $path/wp-includes/\n";
    }

    echo apply_filters('robots_txt', $output, $public);
}

たぶん、そのコードはまったく問題ありません。そして、実際の robots.txt を追加すると、仮想の robots.txt が無効になりますが、どうすればよいかわかりません。

誰かが助けてくれることを願っています。

4

1 に答える 1

3

最初に冒頭陳述が完全に真実であるかどうかを確認する必要があると思います。

robots.txtはウェブブラウザで直接表示できます。

http://www.domda.se/robots.txtにアクセスすると、次のようになります。

ユーザーエージェント： *

禁止：/ wpsystem / wp-admin /

禁止：/ wpsystem / wp-includes /

これは、wpsystemファイルからすべてのロボットをブロックしています。

メインサイトからGoogleをブロックしていません。

ただし、Googleで検索するとsite:http://www.domda.seプルアップします

このサイトのrobots.txtのため、この結果の説明は利用できません–詳細

多くの変更を加えたため、以前はrobots.txtがGoogleをブロックしていた可能性がありますが、現在はブロックされていません。

robots.txtの要点は、それがWebクローラー向けの情報であるということです。これらは定期的にサイトをチェックし、一部のサイトを他のサイトより頻繁にチェックします。サイトがGoogleのロボットによって再訪問されるまでにはしばらく時間がかかる場合があり、その訪問でクロールされたページがGoogle検索に表示されるまでにはさらに時間がかかる場合があります。

このテーマにもっと光を当て、グーグルに微調整を与えるために、グーグルウェブマスターツール（それは無料です）を使うべきです。

于 2012-11-23T10:54:58.817 に答える