ruby - ルビー/アネモネ/ノコギリでサイトから製品をこすり取る方法

Question

ルビーのアネモネとノコギリライブラリを使用してeコマースサイトから製品をスクレイプすることは可能ですか？

nokogiriを使用して各製品ページから必要なデータを取得する方法は理解していますが、anemone/nokogiriでサイトをクロールしてすべての製品ページを取得する方法がわかりません。

正しい方向へのプッシュは大歓迎です

Answer 1

私は自分の問題を理解しました。まず、アネモネがすべてのページをクロールしているようには見えなかったということです。これは、必要なページがサブドメインの下にあり、メインドメインとは別にクロールするようにanemoneに指示する必要があったためです。2つ目は、どのページが実際に製品ページであるかを判別する方法が必要でした（したがって、解析する必要があります）。これを行うには、必要なフィールドの1つ（SKU番号）を解析し、それがRegEXを使用してSKUであるかどうかをテストしました。