問題タブ [metastore]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - java.lang.RuntimeException: インスタンス化できません...SessionHiveMetaStoreClient、derby、Hive 2.1.1、および hadoop 2.7.3 を使用
ハイブ シェルを起動しようとすると、次のエラーが発生します。
この問題を解決するにはどうすればよいですか?
hive - 「STORED AS AVRO」句を使用して Hive テーブルを作成すると、Avro スキーマはどこに保存されますか?
Avro データを使用して Hive テーブルを作成するには、少なくとも 2 つの異なる方法があります。
Avro スキーマに基づくテーブルの作成 (この例では、hdfs に格納されています):
CREATE TABLE users_from_avro_schema ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive .ql.io.avro.AvroContainerOutputFormat' TBLPROPERTIES ('avro.schema.url'='hdfs:///user/root/avro/schema/user.avsc');
STORED AS AVRO句で明示的にハイブ列を指定してテーブルを作成する:CREATE TABLE users_stored_as_avro( id INT, name STRING ) STORED AS AVRO;
最初のケースでは、users_from_avro_schemaテーブルのメタデータは Hive メタストアに格納されていませんが、avro スキーマ ファイルを読み取る SERDE クラスから推測されていることは正しいですか? または、テーブルのメタデータがメタストアに格納され、テーブルの作成時に追加される可能性がありますが、Hive メタデータを Avro スキーマと同期するためのポリシーは何ですか? 私は両方のケースを意味します：
- テーブル メタデータの更新 (列の追加/削除) および
- プロパティを変更して Avro スキーマを更新し
avro.schema.urlます。
呼び出した 2 番目のケースDESCRIBE FORMATTED users_stored_as_avroでは、avro.schema.*プロパティが定義されていないため、データの読み取り/書き込みにどの Avro スキーマが使用されているかわかりません。メタストアに格納されているテーブルのメタデータに基づいて動的に生成されますか?
プログラミング Hive ブックのこのフラグメントでは、SerDe クラスからの列に関する情報を推測する方法について説明していますが、HIVE-4703from deserializerでは、列のコメントからこの情報を削除しています。特定のテーブル (Metastore または Avro スキーマ) の列タイプのソースを確認するにはどうすればよいですか?