以前、当社の IT スペシャリストの 1 人が、robots.txt を本番環境のステージングから誤って移動してしまったことがありました。本番環境で Google などによるお客様のサイトのインデックス登録をブロックする。この状況を管理する良い方法はありますか?
前もって感謝します。
以前、当社の IT スペシャリストの 1 人が、robots.txt を本番環境のステージングから誤って移動してしまったことがありました。本番環境で Google などによるお客様のサイトのインデックス登録をブロックする。この状況を管理する良い方法はありますか?
前もって感謝します。
IT担当者に、robots.txtのファイル権限をすべてのユーザーに対して「読み取り専用」に変更するように依頼します。これにより、次の追加の手順が実行されます。
SEOとして、私はあなたの痛みを感じます。
私が間違っている場合は許してください。ただし、検索エンジンがステージング環境全体を見つけてクロールするのをブロックする必要があるため、ステージングサーバーにrobots.txtがあるため、問題が発生していると考えられます。
この場合、ステージング環境は、これが問題にならない内部に配置することをお勧めします。(ステージング用のイントラネットタイプまたはネットワーク構成)。これにより、コンテンツがクロールされる際の検索エンジンの問題を大幅に軽減できます。たとえば、robots.txtファイルが誤ってステージングから削除され、重複するサイトがクロールされてインデックスに登録されます。
それが不可能な場合は、ステージングをdomain.com/staging/などのサーバー上のフォルダーに配置し、ルートフォルダー内のrobots.txtファイルを1つだけ使用して、その/staging/フォルダーを完全にブロックすることをお勧めします。このように、2つのファイルを使用する必要はなく、別のrobots.txtが自分のファイルを置き換えないことを知って夜眠ることができます。
それが選択肢にない場合は、そのファイルを移動しないようにチェックリストに追加するように依頼してください。これを確認する必要があります-睡眠は少し少なくなりますが、もう少し注意が必要です。
ステージング環境がファイアウォールの背後になく、公開されていないのはなぜですか?
問題はRobots.txtではありません...問題はネットワークインフラストラクチャです。