asp.net、c#Webアプリケーションで、ボットが特定のページにアクセスするのを防ぐことは可能ですか?
すべてのボットが自分のサイトの支払いページにアクセスできないようにしたい。
robot.txtファイルが必要になる場合があります。ここでそれを使用する方法の詳細を見つけることができます:http: //en.wikipedia.org/wiki/Robots_exclusion_standard
できません。
ボットがあなたのサイトにアクセスしないように要求することができます(その方法の詳細については、Projapatiの回答を参照してください)、または特定のディレクトリ、または特定のファイル。しかし、それは本当に単なる要求です。「JoeSchmoeUser」がブラウザを開いてページを表示できる限り、誰かがその訪問を自動化することを妨げるものは何もありません。
さまざまなボット/クローラーによって使用されていることがわかっている特定のIPをブロックするようなことを試みることができます。しかし、それは負ける提案になるでしょう。このページにアクセスしたのはボットではないと確信を持って言うことはできません。
または、認証されたユーザーだけがその特定のページにアクセスできるようにサイトを変更し、使用する偽のアカウントを設定する手間を誰も経験しないことを期待することもできます。
というファイルrobots.txt
を Web サイトのルート フォルダーに配置し、次のコードを追加します。
User-Agent: *
Disallow: /paymentpage.php # change this to your payment page.
Google などの特定のボットを禁止することもできます。
User-Agent: Googlebot
Disallow: /paymentpage.php # change this to your payment page.
robots.txt の詳細: