Nutch を使用して、特定のドメインのウィキペディアからコンテンツをクロールしてダウンロードしています。ログを見ると、約 3000 の URL が取得されていますが、統計を見ると、db_fetched はわずか 81 で、db_unfetched は ~2900 です。ログでは、ダウンロード中に例外は発生しませんが、何らかの理由で URL がコンピューターにダウンロードされません。topN を 50000 に、depth を 50 に設定しました。
Nutch を使用して、特定のドメインのウィキペディアからコンテンツをクロールしてダウンロードしています。ログを見ると、約 3000 の URL が取得されていますが、統計を見ると、db_fetched はわずか 81 で、db_unfetched は ~2900 です。ログでは、ダウンロード中に例外は発生しませんが、何らかの理由で URL がコンピューターにダウンロードされません。topN を 50000 に、depth を 50 に設定しました。