問題タブ [hivecontext]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - spark ジョブを使用してハイブ テーブルを作成する
Hadoop クラスター (BigInsight 4.1 ディストリビューション) で Spark (1.5.1 バージョン) ジョブの出力としてハイブ テーブルを作成しようとしていますが、権限の問題に直面しています。私の推測では、spark はデフォルトのユーザー (この場合、ジョブ送信者のユーザー名ではなく「yarn」) を使用してテーブルを作成しているため、作成に失敗しています。
hive-site.xml ファイルをカスタマイズして、ハイブ テーブルを作成する権限を持つ認証済みユーザーを設定しようとしましたが、うまくいきませんでした。
また、Hadoop ユーザー変数を認証済みユーザーに設定しようとしましたが、どちらも機能しませんでした。
txt ファイルを保存してハイブ テーブルを作成し、パフォーマンスを最適化し、orc 圧縮によって出力のサイズを縮小することは避けたいと考えています。
私の質問は次のとおりです。
- 指定されたユーザーで Spark データフレーム API の書き込み関数を呼び出す方法はありますか?
- oozie のワークフロー ファイルを使用してユーザー名を選択することはできますか?
- 誰かが別のアイデアを持っているか、この問題に直面したことがありますか?
ありがとう。ハタク！
apache-spark - HiveContext を使用して既存のハイブ テーブルにデータを追加できない
を使用してhiveテーブルからデータを読み取っています。データに対していくつかの集計を行った後、このデータを別のテーブル (既にデータがある) に保存します。しかし、新しいデータは既存のテーブルに追加されていません...また、エラーも表示されていません...hiveContextspark dataframe
注: に保存する前にhive、dataframe.