java - ファイル システムとインデックスをクロールする最良の方法

Question

10 TB を超えるデータをクロールしてインデックス化する必要があるプロジェクトに取り組んでいます。時間がかからない増分クロールを実装する必要があります。

私の質問は次のとおりです。すべての大規模な組織がこれに Java とともに使用している最適なツールはどれですか?

Solr と Manifold CF を使用して試していましたが、Manifold のドキュメントはインターネット上にほとんどありません。