サイト全体ではなく、特定の部分を禁止しようとしています。
私はこれに比較的慣れていないので、誰かが私にそれを教えてくれたら感謝します.
クローラーから /page1.cfm を禁止できることは知っていますが、そのページに存在するリンクやお問い合わせフォームなど、そのページの一部だけを禁止したい場合はどうすればよいですか? この機能は可能ですか？
最近読んだいくつかのフォーラムによると、クローラーがよりスマートになっているため、「nofollow」機能は実際には機能していません。（そのフォーラムがどれほど信頼できるかはわからないので、より良い情報源を持っている人は共有してください）
助言がありますか？
nofollowを使用しないでください。ページのリンクジュースが失われます。
Robots.txtはクローラーのヒントにすぎません。半分の時間は、アクセスしたページを既に見つけてインデックスを作成している場合は、ルールを拒否します。
.htaccessルールを使用して、このページへのアクセスを禁止またはブロックします。または、複雑な.jsを使用してリンクを暗号化します（base64_encode（）+ str_rot13（）エンコーディングでクローラーを失うのに十分なはずです）
メタタグの属性「nofollow」を使用して、ページ上の情報を非表示にすることができます。グーグルは、彼らが「nofollow」とラベル付けされたリンクを渡さないと書いた。これとあなたがここで見つけることができる例についてのより多くの情報：
Robots.txtチュートリアルとGoogleサポート
これが役立つことを願っています