保存された sqoop ジョブ (インクリメンタル) を作成し、sqoop メタストアをリポジトリとして使用しようとしています。(セキュリティ上の理由から、「xyz」はジョブを実行している UNIX ユーザーであり、sample_table は参照用に使用されます)

保存されたジョブの実行中にも使用されるローカル sqoop メタストアを使用します。

Sqoop は正常に動作し、データが hdfs の場所にプルされることがわかります。ただし、最後にこのエラーが発生します。どこにも修正が見つからないようです。_sqoop ディレクトリに完全なアクセス許可を与えようとしましたが、それでも問題は同じです。

しかし、上記のファイルは _sqoop の場所にはありません。代わりに、sqoop 操作を実行するたびに、作成された別の名前の新しいファイルが表示されます。/スクープ/

誰かがここで正確に何が起こっているのかに光を当てることができますか. メタストアを使用して sqoop 増分ジョブを起動しようとするのは初めてであるため、この分野ではかなり新しいものです。

私は HDP 2.6.4 を使用しています。より具体的には Hive 1.2.1 with TEZ 0.7.0 、Spark 2.2.0 です。

私の仕事は簡単です。データを ORC ファイル形式で保存し、Spark を使用してデータを処理します。これを達成するために、私はこれをやっています：

1. HiveQL を使用して Hive テーブルを作成する
2. Spark.SQL("select ... from ...") を使用してデータをデータフレームにロードする
3. データフレームに対する処理

私の質問は次のとおりです。 1. 舞台裏での Hive の役割は何ですか? 2. ハイブをスキップすることはできますか?

私はビッグデータシステムの初心者です。Oracle Virtual Box に Cloudera クイック スタート vm-5.13.0 をインストールしました。ハイブを開始するために次のコマンドを発行しました。

しかし、次のエラーが発生し、ハイブが開始されません。Hive メタストアに接続できないようですが、VM インストールに変更を加えていません。ハイブを開始するために必要な手動の変更を教えてください。

ありがとう。

シナリオ/コードの詳細

次のように、データをハイブテーブルに保存するためのスパークセッションオブジェクトを作成しています。

JAR をサーバーにデプロイした後、以下の例外が発生します。

My hive-site.xml で、以下の構成を指定しました。/etc/hive/conf のデフォルトの xml をオーバーライドできるように、この xml を spark コードに追加します。

質問:

1. カスタムの hive-site.xml をオーバーライドした後でも、開発チーム全体が、なぜ、どこからこのパス: /apps/hive/warehouse が取得されているのかわかりません。

2. 内部 HDFS フレームワークがこの場所を呼び出して中間結果を保存し、このパスへの実行権限が必要なのですか?

ポリシーにより、次の 2 つの理由により、/apps/hive/warehouse で 777 レベルのアクセスをユーザーに提供することはできません。

将来的には、別のユーザーのセットが存在する可能性があります。倉庫でユーザーに 777 を提供するのは安全ではありません。

3. 上記の 2 つの理由は正しいですか、それとも回避策はありますか?

HIVE メタストアでテーブルと列のコメント (説明) をクエリする方法を見つけようとしています。コメントを HIVE テーブル/列に追加する方法がある場合、HIVE メタストアからコメントをクエリ/レポートする方法であってはなりませんか?

助けてください ：）

敬具、マイケル