Hadoop クラスター用に HortonWorks を 2.2 から 2.3 にアップグレードし、必要なすべての変更を Hue に加えました (HortonWorks のドキュメントに記載されています) が、Hive ブラウザーで Tez にアクセスすると、Hive CLI で Tez が完全に正常に動作するのに対して、Hue クライアントには次の問題があります。以前 (HDP 2.2)、Tez は Hue と互換性がありましたが、HDP 2.3 で Tez を使用する Hue クライアントに問題はありますか?
問題 1: HDP 2.2 を 2.3 にアップグレードした後も、Tez は HDFS とローカルの場所で HDP 2.2 ライブラリ ファイルを探します。HDP 2.2 の場所:
HDFS: /hdp/apps/2.2.9.0-3393
ローカル ファイル: /usr/hdp/2.2.9.0-3393
問題 1 の一時的な解決策: 2.3 のサポート ファイルを 2.2 に移動しました。
HDFS:
hdfs dfs -cp /hdp/apps/2.3.2.0-2950/tez/tez.tar.gz /hdp/apps/2.2.9.0-3393/tez/
ローカル ファイル:
cp /usr/hdp/2.3.2.0-2950/hive/lib/hive-exec-0.14.0.2.2.9.0-3393.jar /usr/hdp/2.2.9.0-3393/hive/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop-yarn/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop-yarn/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop-mapreduce/lib/
技術的には、Tez は 2.3.2.0-2950 である「/usr/hdp/current」ディレクトリを探す必要があります。
問題 2: Hue を介して Tez で Hive を実行すると、次のエラーが発生します。
エラー：
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
ERROR : Failed to execute tez graph.
org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. No cluster diagnostics found.
いくつかの調査により、Hive クエリの実行に Tez の実行が必要ない場合、Hue クライアントのバージョンは AM バージョンと一致するのに対し、tez の実行が必要なクエリは Hue クライアントのバージョンが不明として表示されることがわかりました。
Tez の実行が不要な場合、クライアント バージョンと AM バージョンは一致します。
アプリケーション appattempt_1470224940790_0082_000001 の DAGAppMaster を作成しました。 .org/repos/asf/tez.git , buildTime=20150930-1859 ] [INFO] [main] |app.DAGAppMaster|: クライアント バージョンと AM バージョンの比較、clientVersion=0.7.0.2.3.2.0-2950、AMVersion= 0.7.0.2.3.2.0-2950
Tez の実行が有効になっている場合、クライアントのバージョンと AM のバージョンが一致しません。
アプリケーション appattempt_1470224940790_0092_000001 用の DAGAppMaster を作成しました。 .org/repos/asf/tez.git , buildTime=20150930-1859 ] クライアント バージョンと AM バージョンの比較、clientVersion=Unknown、AMVersion=0.7.0.2.3.2.0-2950 [エラー] [main] |app.DAGAppMaster| : 互換性のないバージョンが見つかりました。clientVersion=Unknown、AMVersion=0.7.0.2.3.2.0-2950
HDP 2.3 で Hue を介して Tez が有効になっている場合、互換性のないバージョン エラーの解決策を見つける方法を教えてください。