ruby - Anemone を使用したサブドメインのクロール

Question

アネモネを使用しています。サブドメインもクロールするにはどうすればよいですか? たとえば、ウェブサイトがある場合www.abc.com、クローラーもクロールする必要がありsupport.abc.comますblah.abc.com。Ruby 1.8.7 と Rails 3 を使用しています。

Answer 1

これは、あなたの問題を解決するGithubのコミットです。

https://github.com/runa/anemone/commit/91559bde052956cfc40ae62678ec2a61574cf928

リンクに従って、アネモネの宝石ファイルを変更します。

Answer 2

Anemoneのドキュメントによると、crawlコマンドに複数のサイトを渡すことができます。

Anemone.crawl("http://www.abc.com/", "http://support.abc.com/", "http://blah.abc.com/")

もちろん、あなたの次の問題はおそらくABCがあなたのサイトをクロールすることを禁止することでしょうが、それは別の質問です。