この質問が時代遅れでないことを願っていますが、明確な答えはまだどこにも見つかりません。昨年の ES プレゼンテーションの 1 つ ( http://www.elasticsearch.org/videos/big-data-search-and-analytics/ ) によると、シャードには「最大」サイズがあります。アプリケーションでこれを決定しようとしていますが、私が知る限り、まだヒットしていません。最大値に達した単一シャード インデックスの動作を知っている人はいますか? 挿入は失敗しますか、それともインデックスが使用できなくなるだけですか?
4230 次
1 に答える
13
これを自分でテストするために、ウィキペディアのすべての英語の記事 (履歴情報なし) を単一の Elasticsearch シャードにインデックス化しました。Elasticsearch データ フォルダーは、テストの終了時に最大 42 GB に増加しました。得られた教訓は次のとおりです。
- インデックス作成速度は、シャードのサイズの影響を受けません。一度に複数のスレッドでインデックス作成を試みたわけではありませんが、シングル スレッドのインデックス作成速度は、テスト期間中ほぼ一定でした。
- 一方、クエリ速度はシャード サイズに大きく影響されました。特に、一度に複数のユーザーでクエリを実行しようとすると. 正確な数は、マシンの能力、データ構造、クエリを実行しているスレッドの数に大きく依存します。私の開発マシンでelasticsearchを実行し、25人の同時ユーザーでウィキペディアシャードをクエリすると、平均応答時間は3.5秒になりました（ピークは30分近く）。
私の結論は、シャードが大きすぎても、インデックス作成だけでelasticsearchが失敗することはないということです。大きなシャードのクエリは、ニーズに対して遅すぎる可能性があります。また、特定の状況では、OutOfMemoryException (大きなファセット クエリなど) で Elasticsearch を壊すことさえあります。
この回答は、私自身の調査に基づいています。全文は私のブログで読むことができます：
http://blog.trifork.com/2013/09/26/maximum-shard-size-in-elasticsearch/
http://blog.trifork.com/2013/11/05/maximum-shard-size-in-エラスティックサーチ再訪/
于 2013-11-05T15:38:08.283 に答える