java - ナッツの種の URL

Question

データベースやサービスなどから直接URL をNutchに取得することは可能ですか。データベースやサービスからデータが取得され、seed.txt に書き込まれる方法には興味がありません。

Answer 1

いいえ。これは、デフォルトの Nutch コードベースで直接行うことはできません。これを実現するには、 Injector.javaを変更する必要があります。

編集：

DBInputFormatを使用してみてください: SQL テーブルから入力データを読み取るInputFormatです。ここでInjectコードを変更する必要があります (以下のスニペットの 3 行目)。

JobConf sortJob = new NutchJob(getConf());
sortJob.setJobName("inject " + urlDir);
FileInputFormat.addInputPath(sortJob, urlDir);
sortJob.setMapperClass(InjectMapper.class);