私が見たすべての文献では、SolrCloud のスケーラビリティはクエリのみに関係しているようです。つまり、レプリケーションとシャーディングにより、クライアント クエリの負荷がより大きな CPU とより広い帯域幅に分散されます。
しかし、インデックス作成についてはどうでしょうか?
SolrCloud のスケーラビリティはインデックスのパフォーマンスを向上させますか? インデックス作成時間を短縮するように構成できますか? 私の場合、新しいコンテンツを頻繁にインデックスにコミットする必要があります。その特別なケースは何かを変えますか？
Lucene Revolution 2012 での Mark Miller のプレゼンテーションは魅力的で、インデックス作成の詳細をカバーしています。しかし、特定のクラウド機能 (レプリケーションなど) によって、インデックス作成が速くなるのではなく遅くなる可能性があるようです。SolrCloudを試した人はいますか？
さて、ようやくテスト用の適切なクラウド環境をセットアップできるようになりました。簡単に言えば、RAMDirectory を使用してもインデックス作成速度は低下します。インデックス作成速度がクラウド内のフォロワー数やコレクション数に関連するかどうかはわかりませんが、8 つのコレクションを持つ 1 リーダー 2 フォロワー構造を持つと、インデックス作成が 4 倍から 5 倍遅くなります。17 分で約 350 万のドキュメントをインデックス化できますが、クラウド内の各インスタンスに同じ構成を使用すると、17 分で 650K のドキュメントしかインデックス化できません... SolrCloud のインデックス作成速度を高速化する方法がわかりません。作業中に新しいバグや問題が発生し続けているため、クラウドに対する私の期待が次々と打ち砕かれていることに驚いています。
これが他の設定でも発生している場合、Solr にクラウドを使用する意味がわかりません。つまり、インデックス作成速度がこれほど速くなれば、従来のスタンドアロン solr インスタンスのすべてをはるかに高速に再インデックス化できます。
誰かがそれを試した、または誰かが実際の環境でそれを持っているなら、SolrCloud の他のいくつかの経験を見ることは本当に素晴らしいでしょう.
solr クラウドに使用している solr のバージョンはどれですか? Solr 4.8 リリース以降、Solr クラウドは非常に安定しています。
ドキュメントを頻繁にハード コミットするのではなく、45 秒または 60 秒後にバッチでコミットすることで、インデックス作成の速度を上げることができます。これは、solr config の自動コミット構成によって実現できます。
ハード コミットは、そのデータが安定したストレージにフラッシュされることを保証しますが、ソフト コミット タグによって達成される変更を可視化することはありません。ソフト コミットの値を 90 ～ 120 秒程度に設定します。これは、solr config のソフトコミット構成によっても達成できます -