他の会社と同様に、本番環境とテスト環境があります。そして、Google Web クローラーが uat ページで不当なクロールを行わないように、robots.txt を UAT ルート フォルダーに配置することを考えていました。
しかし、私が知ったのは驚くべきことでした。Uat ボックスのどこにも robots.txt がありませんが、Uat サイトはどれも Google 検索に表示されません。Uat はファイアウォールの背後にないため、外部のコンピューターはマシンを見ることができます。どの Google 検索も、私の Uat ボックスの Web サイトをどれも引き出していません。
何か案は？