4

現在、robots.txt ファイルを作成していますが、SEO の目的で一部のフォルダーを許可するか許可しないかを決定するのに苦労しています。

私が持っているフォルダは次のとおりです。

  • /css/ (css)
  • /js/ (ジャバスクリプト)
  • /img/ (ウェブサイトに使用する画像)
  • /php/ (たとえば、電子メール アドレスをチェックする checkemail.php や SQL データベースにデータを入力して電子メールを送信する register.php などの空白のページを返す PHP)
  • /error/ (私のエラー 401,403,404,406,500 html ページ)
  • /include/ (header.html と footer.html を含めます)

PHP ページだけを許可せず、残りは許可することを考えていました。

どう思いますか？

どうもありがとう

ローラン

4

1 に答える 1

5

/css と /js -- CSS と Javascript ファイルは、robots.txt にあるかどうかに関係なく、おそらく googlebot によってクロールされます。Google はそれらを使用して、サイトのプレビュー用にページをレンダリングします。Google は、robots.txt にそれらを入れないようにお願いしています。

/img -- CSS や Javascript と同じ方法で robots.txt にある場合でも、Googlebot はこれをクロールする可能性があります。画像を robots.txt に配置すると、通常、Google 画像検索でインデックスに登録されなくなります。Google 画像検索は、サイトへの訪問者のソースである可能性があるため、そこにインデックスを付けたいと思うかもしれません.

/php -- アクションを実行する URL にスパイダーがアクセスしたくないようです。robots.txt の使用を推奨

/error -- サイトが正しく設定されている場合、スパイダーは、エラー ページがどのディレクトリから提供されているかを認識できない可能性があります。それらは通常、エラーのある URL で提供され、スパイダーは実際の URL を認識しません。これは、それらにリダイレクトする場合には当てはまりません。これはとにかく推奨される方法ではありません。そのため、robots.txt に入れる必要はないと思います。

于 2013-02-10T23:28:13.043 に答える