robot.txt を使用して、テスト目的で開発サーバーに来るすべての Web クローラーを無効にしようとしています。
127.0.0.1:8000/robot.txt をブラウザに入力すると . robot.txt がブラウザに表示されないのはなぜですか?
Page not found (404)
127.0.0.1:8000/robot.txt
urls.py:
from django.http import HttpResponse
(r'^robots\.txt$', lambda r: HttpResponse("User-agent: *\nDisallow: /", mimetype="text/plain")),