Hadoop クラスター (BigInsight 4.1 ディストリビューション) で Spark (1.5.1 バージョン) ジョブの出力としてハイブ テーブルを作成しようとしていますが、権限の問題に直面しています。私の推測では、spark はデフォルトのユーザー (この場合、ジョブ送信者のユーザー名ではなく「yarn」) を使用してテーブルを作成しているため、作成に失敗しています。
hive-site.xml ファイルをカスタマイズして、ハイブ テーブルを作成する権限を持つ認証済みユーザーを設定しようとしましたが、うまくいきませんでした。
また、Hadoop ユーザー変数を認証済みユーザーに設定しようとしましたが、どちらも機能しませんでした。
txt ファイルを保存してハイブ テーブルを作成し、パフォーマンスを最適化し、orc 圧縮によって出力のサイズを縮小することは避けたいと考えています。
私の質問は次のとおりです。
- 指定されたユーザーで Spark データフレーム API の書き込み関数を呼び出す方法はありますか?
- oozie のワークフロー ファイルを使用してユーザー名を選択することはできますか?
- 誰かが別のアイデアを持っているか、この問題に直面したことがありますか?
ありがとう。ハタク！