私のクラスター構成は次のとおりです。
- 3 ノード クラスタ
- クラスタ ノードあたり 128 GB の RAM。
- プロセッサー: クラスター ノードごとに 16 コアのハイパースレッド。3 つのノードすべてに Kudu マスターと T-Server および Impala サーバーがあり、ノードの 1 つには Impala カタログと Impala StateStore があります。
私の問題は次のとおりです。
1) 同時クエリの実行中に、Impala での動的リソース プールを理解するのに苦労しました。私はmem_limitにまだ運がないことを試みました。静的サービス プールも試しましたが、それでも必要な同時実行性を達成できませんでした。アドミッション コントロールを使用しても、必要な同時実行性が達成されませんでした。
I) The time taken for 1 query: 500-800ms.
II) But if 10 concurrent queries are given the time taken grows to 3-6s per query.
III) But if more than 20 concurrent queries are given the time taken is exceeding 10s per query.
2) クエリを送信した後、クラスター ノードの 1 つが負荷を受けていません。クエリの概要でこれを確認しました。負荷を受けていないノードでNUM_NODESに 0 と 1 を指定しようとしましたが、ノードが負荷を受けていないことが要約で示されます。