3

以下の例では、anemoneをルートURL（example.com）でのみ実行したいと思います。on_page_likeメソッドを適用する必要があるかどうか、適用する場合はどのパターンが必要かわかりません。

  require 'anemone'
    Anemone.crawl("http://www.example.com/") do |anemone|
      anemone.on_pages_like(???) do |page|
        # some code to execute
      end
    end
4

1 に答える 1

6 
require 'anemone'
Anemone.crawl("http://www.example.com/", :depth_limit => 1) do |anemone|
  # some code to execute
end

オプションハッシュで以下を指定することもできます。以下はデフォルトです。

# run 4 Tentacle threads to fetch pages
:threads => 4,
# disable verbose output
:verbose => false,
# don't throw away the page response body after scanning it for links
:discard_page_bodies => false,
# identify self as Anemone/VERSION
:user_agent => "Anemone/#{Anemone::VERSION}",
# no delay between requests
:delay => 0,
# don't obey the robots exclusion protocol
:obey_robots_txt => false,
# by default, don't limit the depth of the crawl
:depth_limit => false,
# number of times HTTP redirects will be followed
:redirect_limit => 5,
# storage engine defaults to Hash in +process_options+ if none specified
:storage => nil,
# Hash of cookie name => value to send with HTTP requests
:cookies => nil,
# accept cookies from the server and send them back?
:accept_cookies => false,
# skip any link with a query string? e.g. http://foo.com/?u=user
:skip_query_strings => false,
# proxy server hostname
:proxy_host => nil,
# proxy server port number
:proxy_port => false,
# HTTP read timeout in seconds
:read_timeout => nil

私の個人的な経験では、アネモネはそれほど速くなく、多くのコーナーケースがありました。ドキュメントが不足していて（あなたが経験したように）、作者はプロジェクトを維持していないようです。YMMV。私はすぐにNutchを試しましたが、あまりプレイしませんでしたが、より速く見えました。ベンチマークはありません、ごめんなさい。

于 2013-01-09T03:28:40.470 に答える