web-crawler - robots.txt のチェックインを無効にする

Question

Nutchでの robots.txt チェックを無効にして、ウェブサイトからすべてをクロールしたいです。 DisableWeb サイトを取得または解析する前に、robot.txt のチェックをスキップすることを意味します。これは可能ですか？

Answer 1

私が理解している限り、robots.txt を無効にすることはできません。