CLI を使用して複数の Hive クエリを送信しようとしていますが、クエリを同時に実行したいと考えています。ただし、これらのクエリは順次実行されます。
実際に同時に実行されるように、多数の Hive クエリを呼び出す方法を教えてもらえますか?
CLI を使用して複数の Hive クエリを送信しようとしていますが、クエリを同時に実行したいと考えています。ただし、これらのクエリは順次実行されます。
実際に同時に実行されるように、多数の Hive クエリを呼び出す方法を教えてもらえますか?
これは Hive が原因ではなく、Hadoop 構成に関係しています。デフォルトでは、Hadoop はジョブの送信と実行に単純な FIFO キューを使用します。ただし、複数のジョブを一度に実行できるように別のポリシーを構成できます。
この問題に関する 2008 年の Cloudera からの素敵なブログ投稿を次に示します。Hadoop でのジョブ スケジューリング
デフォルト以外のほぼすべてのスケジューラーが並行ジョブをサポートするので、好きな方を選んでください!