次の方法で Anemone gem を使用しています。
- 最初の URL (シード) にアクセスし、ページのコンテンツをデータベースに保存し、このページからデータベースへのすべてのリンクも保存します (まだデータベースにないすべてのリンク)。
- データベースから次のリンクを読み込み、そのコンテンツと他のリンクを再度保存します
- 他にリンクがない場合は、すべてのリンクを再度 (一定期間後に) クロールして、古いコンテンツを新しいコンテンツで上書きします。
これはかなりうまく機能しますが、ログインが必要なページをクロールする方法はありますか (ユーザー名とパスワードがわかっている場合)。フォームに入力する機能を提供する Mechanize gem は知っていますが、それを自分のプロセスに統合する方法がわかりません (可能な場合)。または、ログインフォームの「背後」でページをクロールする方法は他にありますか?