10

非常に特定のユーザー セットを対象とする、コミュニティによって生成されたコンテンツをホストする Web サイトがあるとします。さて、より良いコミュニティを育成するために、サイトのメインテーマに関係なく、コミュニティメンバーが好きなことを投稿したり話したりできるトピック外のエリアがあるとしましょう。

現在、ほとんどのコンテンツを Google にインデックスしてもらいたいと考えています。注目すべき例外は、トピックから外れたコンテンツです。各スレッドには独自のページがありますが、すべてのスレッドが同じフォルダーにリストされているため、どこかのフォルダーから検索エンジンを除外することはできません。ページごとにする必要があります。従来の robots.txt ファイルは巨大になるので、他にどのようにこれを達成できますか?

4

8 に答える 8

22

これは、正常に動作するすべての検索エンジンで機能します。次のように追加するだけ<head>です。

<meta name="robots" content="noindex, nofollow" />
于 2008-09-04T15:13:30.537 に答える
2

Apache を使用している場合は、mod-rewrite を使用して、必要なコンテンツを動的に生成できるスクリプトに robots.txt をエイリアスします。

編集: IIS を使用している場合は、 ISAPIrewriteを使用して同じことを行うことができます。

于 2008-09-04T15:12:12.787 に答える
1

robots.txt を、出力を生成する動的スクリプトに置き換えることで実装できます。Apache を使用すると、単純な .htaccess ルールを作成してそれを実現できます。

RewriteRule  ^robots\.txt$ /robots.php [NC,L]
于 2013-09-30T09:04:39.563 に答える
0

そのスレッドについては、頭に noindex メタ タグが含まれていることを確認してください。これは、robots.txt でブロックする以外に、検索エンジンにページをクロールしないように指示するもう 1 つの方法です。

于 2014-05-23T10:40:55.673 に答える
0

robots.txt の禁止は、Google が外部サイトからのリンクを含むページをインデックスに登録することを妨げるものではなく、内部でのクロールを妨げるだけであることに注意してください。http://www.webmasterworld.com/google/4490125.htmまたはhttp://www.stonetemple.com/articles/interview-matt-cutts.shtmlを参照してください。

于 2014-07-01T08:43:57.987 に答える
0

@James Marshallの提案と同様に、ASP.NETでは、HttpHandlerを使用して、コンテンツを生成したスクリプトにrobots.txtへの呼び出しをリダイレクトできます。

于 2008-09-04T15:14:01.270 に答える
-1

ロボット メタ タグを制限することで、検索エンジンによるコンテンツの読み取りやインデックス作成を禁止できます。このようにして、スパイダーはあなたの指示を考慮し、必要なページのみをインデックスに登録します。

于 2013-05-10T06:25:13.733 に答える