アドバイスとその方法を探しています。ドメインに、特定のランディング ページをテストしているフォルダーがあります。うまくいけば、このランディング ページで新しいウェブサイトとドメインを構築する可能性があります。それが、クロールされたくない主な理由です。そのため、重複したコンテンツについて Google から罰せられることはありません。また、望ましくないボットがこのランディング ページをスクレイピングすることも望んでいません。それはあなたにとって意味がありますか？
もしそうなら、どうすればこれを行うことができますか? すべてのクローラーがそれを尊重しているわけではなく、Google でさえ完全に尊重していない可能性があることを理解したので、robots.txt が最良の方法だとは思いません。ランディング ページはすべての人に開かれている必要があるため、パスワードを設定することはできません (したがって、ソリューションが人間の訪問者に問題を引き起こしてはなりません)。.htaccess ファイルを残しますか? もしそうなら、そこにどのコードを追加する必要がありますか? 私が得られなかった欠点はありますか？
ありがとう！