私は Impala を使用していますが、Impala がメモリ内で処理を行うことを知っています。Impala 構成オプションのリストを検索しましたが、特にメモリ/ヒープに関して、これに関する完全なドキュメントは見つかりませんでした。Impalaにはそのような設定がありますか? それとも、hdfs/datanode ヒープ領域に依存していますか? でimpalaのメモリ使用量を制限できることは知っていますが-mem_limit、これがどのように行われるかをよりよく理解しようとしています。
2621 次
1 に答える
2
CDH 5.1.0に含まれる Impala 1.4.0 リリースの時点で、Impalaはクエリ処理中にメモリとディスクの両方を使用します。Impala のメモリ使用を制御する方法の詳細については、Impala に関する Cloudera のドキュメントを読むことをお勧めします。特に:
HDFS キャッシングや Hadoop YARN (Llama 経由) との統合など、Impala のメモリ使用の多くの側面を構成する方法について詳しく説明します。HDFS キャッシングの詳細については、Hadoop Summit 2014 での Andrew Wang と Colin McCabe のプレゼンテーションを参照してください。Llama の詳細については、Hadoop World NYC 2013 での Henry Robinson のプレゼンテーションを参照してください。
于 2014-07-23T03:18:31.863 に答える