nutch(2.1)でクロールされた結果をMySQLに保存するプログラムを作成しました。正常に動作します。検索用に指定されたファイル形式を取得します。ファイルがほとんどありませんjpeg
。これらの画像をDBから取得したい(保存されているかどうかはわかりません)。画像のURLを含むフィールドがあります。そこから行ってフェッチできます。しかし、MySQLに大量のデータを格納するnutchの使用は何ですか。それを手伝ってくれませんか。
私は次のコードを使用しています:
String crawlArg = "urls -threads 5";
// Run Crawl tool
try {
ToolRunner.run(NutchConfiguration.create(), new org.apache.nutch.crawl.Crawler(),
tokenize(crawlArg));
} catch (Exception e) {
e.printStackTrace();
return;
}
あなたが必要とするかもしれないより多くの詳細を尋ねてください。私は一言で言えば初心者です。