Rails アプリを起動しようとしていますが、最後のタスクとして、robots.txt ファイルを設定したくありません。Rails アプリのパスを適切に記述する方法に関する情報が見つかりませんでした。
開始パスは常に Rails アプリまたはアプリ フォルダーからのルート パスですか? たとえば、imgフォルダーを禁止するにはどうすればよいですか？
アプリ フォルダーに表示されているパスを記述する必要がありますか、それともオンラインのサイトでパスがどのように見えるか (例: http://example.com/admin ) を記述する必要がありますか?
フォルダrobots.txtに入れる必要があります/public
そして、それは以下のようになります
"/cyberworld/map/"次の「/robots.txt」ファイルの例では、または"/tmp/"、 または で始まる URL にロボットがアクセスしないように指定しています/foo.html。
# robots.txt for http://www.example.com/
User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space
Disallow: /tmp/ # these will soon disappear
Disallow: /foo.html
詳細については、以下のリンクに従ってください
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
と