0

Liferay テスト環境をすべて検索エンジンから除外しようとしています。新しい行が消え、セパレータとしての \r\n または \n も機能しません。

これは私のロボットファイルです:

User-agent: *
Disallow: /

これは私の web.xml スニペットです:

<filter>
      <filter-name>RobotKiller</filter-name>
      <filter-class>com.robot.kill.KillARobot</filter-class>
</filter>

<filter-mapping>
      <filter-name>RobotKiller</filter-name>
      <url-pattern>/robots.txt</url-pattern>
</filter-mapping>

ドメイン/robots.txt: 

User-agent: *Disallow: /
4

1 に答える 1

2

私は問題が何であるかを知っていると思います。このファイルのContent-Type HTTP ヘッダーが正しく設定されていません。text/htmlに設定する必要があるときに、コンテンツ タイプをに設定していtext/plainます。

ブラウザでファイルを表示すると、改行をスペースとして扱う HTML であると解釈されます。ブラウザのソース表示機能を使用して、正しくフォーマットされていることを確認できるはずです。

robots.txt ファイルは、Content-Type ヘッダーが正しくなくても検索ボットで機能する可能性がありますが、危険を冒さない方がよいでしょう。

于 2013-09-19T12:49:19.530 に答える