私は SEO と Web スパイダーの仕組みについてあまり知らないので、ここで私の無知を許してください。データベースから取得した情報を表示する領域を持つ (ASP.NET-MVC を使用して) サイトを作成しています。データはユーザーに固有であるため、実際のサーバー側の出力キャッシュは行われません。ただし、データには、ユーザーが検索エンジンの結果から表示したくないものが含まれている可能性があるため、スパイダーが検索結果ページにアクセスできないようにしたいと考えています。検索結果ディレクトリがクロールされないようにするために、何か特別な操作を行う必要がありますか? また、スパイダーは動的に生成されたページをクロールし、特定のディレクトリの検索を妨げるアクションは検索エンジンのランキングを台無しにしますか?
編集: 追加する必要がありrobots.txtます。プロトコルについて調べていますが、Web クローラーからの協力に依存しています。ただし、robots.txt ファイルを無視するデータ マイニング ユーザーを防止したいとも考えています。
どんな助けにも感謝します！
サーバーにスロットリングを実装することで、一部の悪意のあるクライアントがサーバーに過剰にアクセスするのを防ぐことができます。「申し訳ありませんが、あなたの IP は、過去数分間にこのサーバーに対して行った要求が多すぎます。後でもう一度やり直してください。」ただし、実際には、本当に悪意のあるユーザーが、導入したスロットリング メカニズムをバイパスするのを止めることはできないと想定してください。
それを考えると、ここにもっと重要な質問があります：
世界中の人々が閲覧できるようにしている情報に満足していますか? ユーザーはこれに満足していますか?
これらの質問に対する答えが「いいえ」の場合は、許可されたユーザーのみが機密情報を表示できるようにする必要があります。情報が特に機密ではないが、クライアントにクロールさせたくない場合は、スロットリングがおそらく適切な代替手段です。とにかくクロールされる可能性はありますか? そうでない場合は、robots.txt で十分です。
2つの問題があるようです。
まず、検索結果に表示される特定のデータに関する懸念です。2 つ目は、ユーザー関連データを収集する悪意のあるユーザーまたは悪意のあるユーザーに関するものです。
最初の問題は、robots.txt ファイルを適切に使用することでカバーされます。これは、すべての大手検索エンジンがこれを尊重しているためです。
2 番目の問題は、データのプライバシーに関係しているようです。すぐに頭に浮かぶ最初の質問は次のとおりです。人々が表示したくないユーザー情報がある場合、なぜそれを公開しているのですか?
そのようなデータのプライバシー ポリシーはどのようなものですか?
ユーザーは、どの情報を利用できるようにするかを制御できますか?
機密情報である可能性があるが、システムにとって重要な情報である場合、ログインしているユーザーのみが利用できるように制限できますか?
ロボット除外基準を確認してください。これは、サイトに配置するテキスト ファイルであり、インデックスに登録できるものとできないものをボットに伝えます。また、ボットが robots.txt ファイルを尊重しない場合にどうなるかについても対処する必要があります。
前述の robots.txt ファイル。それでも十分でない場合は、次のことができます。
おそらく組み合わせを使用して。いずれにせよ、それはトレードオフであり、一般の人々が閲覧できる場合は、ボットも閲覧できます。ボットをブロックしようとしている人をブロックしたり疎外したりしないように注意してください。
いくつかのオプション: