php - クローラーは「すべて拒否」ディレクトリにアクセスできますか

Question

こんにちは、私のサイトには、機密データが含まれるコア フォルダーがあり、その中に「すべて拒否」を含む htaccess ファイルがあります。私の質問は、Google や他のクローラーが、私がそこに誰も入れたくないことを知っている場合でも、そのディレクトリにアクセスできるかということです。

Answer 1

いいえ、できません。ボットは、robots.txt などの指示に従うかどうかを選択できますが、サーバーが投げかけているものをスキップすることはできません。言い換えれば、サーバーはその情報の表示を拒否し、ボットがこれに対してできることは何もありません (おそらく)。がんばれ :P

Answer 2

技術的には、いいえ、アクセスできません。しかし、フォルダーをそこ (パブリック ディレクトリの下) に配置すると、間違いを犯して .htaccess を上書きしたり、サーバーが更新されてルールが無効になったりするなど、より高いリスクにさらされます。

そのフォルダーをあなたのpublic_html（または同等の）外に移動することをお勧めします。私が通常行うことはprivate_files、フォルダーのすぐ横に作成するpublic_htmlことであり、そこに必要なファイルはすべて (安全な!) スクリプトから参照できます。