0

私は、ユーザーが自分のWebアプリケーションを順番に作成できるWebアプリケーションに取り組んでいます。アプリケーションによって作成された新しいWebアプリごとに、新しいサブドメインを割り当てます。例：subdomain1.xyzdomain.com、subdomain2.xyzdomain.comなど。

これらのWebアプリケーションはすべてデータベースに保存され、に保持されているPythonスクリプト（たとえば default_script.py）によって提供され/var/www/ます。これまで、robots.txt/var/www/を使用してディレクトリ（）の検索エンジンインデックスをブロックしてきました。これは基本的に、 default_script.pyを含むすべてのスクリプトと、そのdefault_script.pyスクリプトを使用して複数のWebアプリケーションに提供されるコンテンツのインデックス作成をブロックします。

しかし今、私はそれらのサブドメインのいくつかにインデックスを付ける必要があります。

しばらく検索した後、robots.txtでスクリプトを明示的に指定することで、スクリプトのインデックス作成をブロックする方法を見つけることができました。

しかし、私はまだ次のことについて疑問を持っています：

  1. 私のdefault_script.pyのインデックス作成をブロックし、default_script.pyから提供されるすべてのコンテンツのインデックス作成もブロックします。はいの場合、インデックスを作成すると、default_script.pyが検索結果にも表示され始めます。

  2. 一部のサブドメインのインデックスを選択的に許可するにはどうすればよいですか。

    例：subdomain1.xyzdomain.comにインデックスを付けますが、 subdomain2.xyzdomain.comにはインデックスを付けません

4

2 に答える 2

1

いいえ。検索エンジンは、どのスクリプトがページを生成するかを気にする必要はありません。webappsによって生成されたページがインデックスに登録されている限り、問題はありません。

2番目の質問：

サブドメインごとに個別のrobots.txtを作成する必要があります。つまり、robots.txtが特定のサブドメインからフェッチされた場合、そのsudomainのみに関連するrobots.txtファイルを返します。したがって、サブドメインにインデックスを付けたい場合は、そのロボットファイルですべてを許可します。インデックスを作成したくない場合は、robotsファイルですべてを拒否するようにします。

于 2012-08-06T13:38:41.663 に答える
0

議論を要約すると、

これは私の.htaccessファイルがどのように見えるかで、/var/www/ディレクトリに保存されています：

Options +FollowSymlinks
RewriteEngine On
RewriteBase /

# Rule Below allows using different robots.txt for subdomain1.
RewriteCond     %{HTTP_HOST}           ^subdomain1.xyzdomain.com$ [NC]
RewriteRule     ^(.*)robots.txt        subdomain1-robots.txt [L]

# This rule is applicable on rest of subdomains and xyzdomain.com.
RewriteRule     ^robots.txt$           robots.txt [L]

# This rule allow serving content from default_script.py for files other then robots.txt
RewriteRule     .                      default_script.py
于 2012-08-08T13:48:03.623 に答える