solr - 多数の xml ファイルを solr 5 にインデックス化する

Question

100 万個までの xml ファイルを Solr 5 にインデックス付けしようとしています。考えられる方法がいくつかあります。

1. すべてのxmlファイルをディレクトリにダンプしてから、post.jarを使用します
2. データインポートハンドラーを使用して、xmlファイルを再帰的にインポートすることもできるようです

他の方法はありますか？

Answer 1

あなたの質問は、solr を使用して 100 万の xml ファイルのインデックスを作成する方法です。

recursiv フォルダー構造でもbin/postツールを使用できます。

これで十分な機能があれば、問題ありません。さらに特別な機能が必要な場合は、独自のインデクサーを作成します。特にsolrjを使用すると、これは非常に簡単です。

十分なメイン メモリがある場合はDataImportHandler、FileListEntityProcessorで使用できます。「FileListEntityProcessor」は、最初にすべてのファイルを収集してから、実際のインデックス作成を実行します。したがって、あなたの場合、最初のステップでは、「ファイル」の 100 万個のインスタンスがメイン メモリに配置されます。