問題タブ [hivecontext]

HiveContext オブジェクトを使用して、spark コードからいくつかのハイブ クエリを実行しようとしていました。spark submit を使用してコマンドラインから実行すると、正常に動作していました。しかし、oozie ワークフローから同じものを実行しようとすると、以下の例外が発生します。

ハイブコンテキストを作成し、そこからハイブクエリを実行するScalaプログラムがあります。ハイブ クエリは、複数テーブルの挿入クエリです。クエリは正常に実行されるが、出力が生成されていないという問題に直面しています。興味深いことに、複数テーブルの inert クエリで 1 つのテーブルに挿入すると、クエリは正常に実行されます。つまり、out データを確認できます。例えば：

データを生成していないクエリ:

正常に動作しているクエリ:

エグゼキューターのログを調べたところ、実行されなかったクエリについてエラーは報告されていませんでした。

YARN で Spark 1.5 を実行しています

上記について追加情報が必要な場合はお知らせください。

1）2つの異なるハイブテーブルからデータを収集し、単一のハイブテーブルに挿入するSQLファイルを作成しました。

2）シェルスクリプトを使用してこのSQLファイルを呼び出しています

3)サンプルスパーク設定:

4) ハイブ クエリの例:

5)サンプルスクリプト:

私は次のsparkdataframeを持っています:

week_sale 列のアイテムが次のどの間隔に収まるかを確認する必要があります。

したがって、私の望ましい出力は次のようになります。

pyspark、spark.sql、および Hive コンテキストの実装が役に立ちます。