hadoop - 以前に除外した URL をナッチ クロールに含める方法

Question

Nutch 2.1 の使用

最初のクロール中に、クロールするページ数を制限するためにいくつかの URL を除外しました。これらの拒否ルールを regex-urlfilter.txt から削除してこれらのコマンドを実行すると、フィルタリングされた URL が取得されません。

bin/nutch updatedb
bin/nutch generate
bin/nutch fetch -all

私は何が欠けていますか？

Answer 1

Nutch ユーザー グループに関するこの投稿は、それを行うのに役立つかもしれません。