perl - 提案が必要：Perlを使用したWebスパイダー

Question

スパイダーは次のことを行う必要があります。

1. ログインフォームを投稿してログインする
2. Cookieによるログイン統計の維持
3. ホームページのランダムなリンクをたどる

スパイダーの目的は、多くのユーザーがWebサイトを閲覧していることをシミュレートして、新しいWebサイトをビジー状態に保つことです。

私はLWPとWWW::Mechanizeを見ました。どのモジュールを使用すべきかわからない、または他のより良い提案。あなたがコード例を持っているなら、とても良いです。

ありがとう。

Answer 1

WWW::機械化、これら 2 つの選択肢の間。内部には LWP::UserAgent があります。私は CPAN モジュール WWW::Spider の経験がなく、WWW::Mechanize ほどよく知られていないことを知っていますが、あなたのニーズを満たすかどうかを確認するためにそれも見てみるとよいでしょう。ただし、十分に実績のあるオプションに投票します。