問題タブ [apache-tez]

aws emr 4.8ハイブ 1.0 と tez 0.8のクラスターでいくつかのハイブ スクリプトを実行しています。

私の構成は次のようになります。

そして、私のグローバル設定は次のとおりです。

スクリプトの実行中に、次のエラーが発生します。

このエラーをグーグルで調べたところ、セットtez.task.resource.memory.mbが物理メモリの制限を変更することを読みましたが、明らかに間違っていました。私は何が欠けていますか？

TezでHive2を使用しています。クエリを実行すると、以下に示す実行エラーが発生します。

java.lang.IllegalArgumentException: 空の文字列からパスを作成できません

field_3別のテーブルからクエリを実行する Hive v1.2.1 で次のクエリを実行したいと考えています。

返されるすべてのレコードの値field_3は同じです。問題は、それが別のテーブルに格納されていることです。その値を取得するには、次のように取得できます。

今のところ、リテラルをハードコーディングしました。

ただし、適切な値は 1 日を通して変化するため、この方法は望ましくありません。

どのソリューションも、Hive SQL コンテキストを介して Spark にプラグインされて機能するかどうかを検討する必要があります。

次のようなEMRを介してHiveテーブルを作成しました

select * from tests3 を実行すると、 records が取得されます。しかし、tez タスクを実行すると、次のエラーが表示されます。