問題タブ [parquet]

スパークシェルを使用してフィールド名を表示する方法を決定しましたが、見苦しく、型が含まれていません

プリント:

ログ ファイルがあり、最初の列は Hive テーブルのパーティションになります。

最初の列 (ここでは ? としてマーク) を選択し、パーティションで選択した列が 2 番目の選択 (*) と一致するようにクエリを作成するにはどうすればよいですか?

次のjsonコンテンツに基づいて作成した寄木細工のテーブルの上にハイブテーブルを配置しようとしています:
{"user_id":"4513","providers":[{"id":"4220","name" :"dbmvl","behaviors":{"b1":"gxybq","b2":"ntfmx"}},{"id":"4173","name":"dvjke","behaviors":{ "b1":"sizow","b2":"knuuc"}}]}

{"user_id":"3960","providers":[{"id":"1859","name":"ponsv", "behaviors":{"b1":"ahfgc","b2":"txpea"}},{"id":"103","name":"uhqqo","behaviors":{"b1":" lktyo","b2":"ituxy"}}]}

{"user_id":"567","providers":[{"id":"9622","name":"crjju","behaviors":{ "b1":"rhaqc","b2":"npnot"}},{"id":"6965","name":"fnheh","behaviors":{"b1":"eipse","b2 ":"nvxqk"}}]}"nvxqk"}}]}"nvxqk"}}]}

基本的に、spark sql を使用して json を読み取り、寄木細工のファイルを書き出しました。

生成された寄木細工ファイルの上にハイブを配置する際に問題が発生しています。これが私が持っているハイブhqlです：
create table test (mycol STRUCT<user_id:String, providers:ARRAY<STRUCT<id:String, name:String, behaviors:MAP<String, String>>>>) stored as parquet; Alter table test set location 'hdfs:///tmp/test.parquet'; 上記のステートメントは正常に実行されますが、テーブルでselect *を実行しようとするとエラーが発生します：
例外java.io.IOException:java.lang.IllegalStateExceptionで失敗しました：インデックス0の列mycol {providers=providers, user_id=user_id} に存在しません

プロジェクトの 1 つで寄木細工を柱状ストレージとして使用したいと考えています。しかし、hadoop/hdfs ライブラリに依存したくありません。hdfsの外部で寄木細工を使用することは可能ですか? または最小依存関係は何ですか?

maven (1.6.0rc7) から寄木細工の最新バージョンを取得しようとしています。私は最終的にmavenとプロジェクトフォルダーが正しく設定されたと思います。プロジェクトなどに依存関係を追加しましたが、maven が jar を探しているようで、pom しかありません。

いくつかの投稿を調べたところ、jar があり、pom がない場合、またはその逆の場合に問題があるように見えますが、これが本当に問題なのか、それとも他の何かが問題なのかを判断するのに十分なほど Maven を理解していません。うまくいかない。どんな助けでも大歓迎です。（あきらめて、以前のバージョンをインストールすることもできました。これは、素敵な小さなスタンドアロンのjarファイルに入っていますが、これを理解したいと思っています!!）

寄木細工の入力ファイルがあります。ドライバー クラスでその入力ファイルを読み取り、何らかの処理を行ってジョブの構成を設定したいと考えています。

これについていくつかの情報を教えてください。