問題タブ [metastore]

以下のコードを使用して、Oozie Java Action を介して Posgres Hive メタストアに接続しようとしています。

hive-site.xml をアクションに渡しているので、必要な情報がすべて含まれているはずです。

HiveMetaStoreClient client = new HiveMetaStoreClient(conf); log.info("Successfully created the HiveMetaStoreClient"); try { log.info(String.format("Loading the partitions for %s.%s", database, table)); List<Partition> partitions = client.listPartitions(database, table, (short) 200); log.info(String.format("Processing %d partitions", partitions.size())); for (Partition partition : partitions) { StorageDescriptor sd = partition.getSd(); String location = sd.getLocation(); String newLocation = location.replace(from, to); log.info(String.format("Moving from %s to %s", location, newLocation)); sd.setLocation(newLocation); } } catch (TException e) { logExceptionStack(e); }

ログは正確にはエラーではありませんが、DERBY バックエンドを持つ他のメタストアを調べていることを示唆しています。

HiveMetaStoreClientどこで問題を探し、正しいメタストアを指すように強制するか、私は困惑しています。

2016-02-08 16:48:05,972 INFO [uber-SubtaskRunner] com.xxxxxxx.PartitionMigrator.Program: Attempting to create the HiveMetaStoreClient 2016-02-08 16:48:06,123 INFO [uber-SubtaskRunner] com.xxxxxxx.PartitionMigrator.Program: hiveconf metastoreURI: null 2016-02-08 16:48:06,194 INFO [uber-SubtaskRunner] org.apache.hadoop.hive.metastore.HiveMetaStore: 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore 2016-02-08 16:48:06,222 INFO [uber-SubtaskRunner] org.apache.hadoop.hive.metastore.ObjectStore: ObjectStore, initialize called 2016-02-08 16:48:06,385 INFO [uber-SubtaskRunner] DataNucleus.Persistence: Property datanucleus.cache.level2 unknown - will be ignored 2016-02-08 16:48:06,385 INFO [uber-SubtaskRunner] DataNucleus.Persistence: Property hive.metastore.integral.jdo.pushdown unknown - will be ignored 2016-02-08 16:48:06,506 WARN [uber-SubtaskRunner] DataNucleus.Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies) 2016-02-08 16:48:06,840 WARN [uber-SubtaskRunner] DataNucleus.Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies) 2016-02-08 16:48:08,339 INFO [uber-SubtaskRunner] org.apache.hadoop.hive.metastore.ObjectStore: Setting MetaStore object pin classes with hive.metastore.cache.pinobjtypes="Table,StorageDescriptor,SerDeInfo,Partition,Database,Type,FieldSchema,Order" 2016-02-08 16:48:09,286 INFO [uber-SubtaskRunner] DataNucleus.Datastore: The class "org.apache.hadoop.hive.metastore.model.MFieldSchema" is tagged as "embedded-only" so does not have its own datastore table. 2016-02-08 16:48:09,286 INFO [uber-SubtaskRunner] DataNucleus.Datastore: The class "org.apache.hadoop.hive.metastore.model.MOrder" is tagged as "embedded-only" so does not have its own datastore table. 2016-02-08 16:48:10,400 INFO [uber-SubtaskRunner] DataNucleus.Datastore: The class "org.apache.hadoop.hive.metastore.model.MFieldSchema" is tagged as "embedded-only" so does not have its own datastore table. 2016-02-08 16:48:10,400 INFO [uber-SubtaskRunner] DataNucleus.Datastore: The class "org.apache.hadoop.hive.metastore.model.MOrder" is tagged as "embedded-only" so does not have its own datastore table. 2016-02-08 16:48:10,676 INFO [uber-SubtaskRunner] org.apache.hadoop.hive.metastore.MetaStoreDirectSql: Using direct SQL, underlying DB is DERBY 2016-02-08 16:48:10,677 INFO [uber-SubtaskRunner] org.apache.hadoop.hive.metastore.ObjectStore: Initialized ObjectStore 2016-02-08 16:48:10,798 WARN [uber-SubtaskRunner] org.apache.hadoop.hive.metastore.ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.1.0 2016-02-08 16:48:10,928 WARN [uber-SubtaskRunner] org.apache.hadoop.hive.metastore.ObjectStore: Failed to get database default, returning NoSuchObjectException 2016-02-08 16:48:11,019 INFO [uber-SubtaskRunner] org.apache.hadoop.hive.metastore.HiveMetaStore: Added admin role in metastore 2016-02-08 16:48:11,021 INFO [uber-SubtaskRunner] org.apache.hadoop.hive.metastore.HiveMetaStore: Added public role in metastore 2016-02-08 16:48:11,097 INFO [uber-SubtaskRunner] org.apache.hadoop.hive.metastore.HiveMetaStore: No user is added in admin role, since config is empty 2016-02-08 16:48:11,193 INFO [uber-SubtaskRunner] com.xxxxxxx.PartitionMigrator.Program: Successfully created the HiveMetaStoreClient

私はかなり長い間、ダービーをハイブ メタストアとして使用してきました。メタストアを Postgresql に移行する方法はありますか。

Apache Hive を使用しています - 0.13

この質問はすでに尋ねられていますが、それらの回答は何の役にも立ちません。

ハイブを使用して mysql を構成するためにより多くの時間を費やしています。エラーが発生するたびに、どこが間違っているのかわかりません.....このリンクでわかるように、

hive-site.xml 構成は、こちらのリンクで確認できます

ここにファイル構造があります

これがこの質問を作成する理由です....これが解決に役立つことを願っています。

これらのリンクをたどった

https://dzone.com/articles/how-configure-mysql-metastore

hive0.13.1 の hive-site.xml パス

https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration

Hive メタストア接続用に Hive-Site.xml ファイルで構成を設定するにはどうすればよいですか?

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin#AdminManualMetastoreAdmin-RemoteMetastoreServer

前文: Hadoop / ハイブは初めてです。スタンドアロンの Hadoop をインストールし、現在ハイブを機能させようとしています。メタストアの初期化に関するエラーが発生し続け、解決方法がわかりません。(hadoop 2.7.2 およびハイブ 2.0)

HADOOP_HOME と HIVE_HOME が設定されている

hdfsは機能しています

ハイブが機能していません。メタストアを初期化する必要があると言います

だから私はpostgresを使ってそれを初期化しようとします - しかしスキーマツールはダービーを使おうとします

だから私はpostgresドライバーなどを使用するようにhive-site.xmlを変更しますが、ドライバーがインストールされていないため失敗します

それで、最初にダービーを使用しようとします。最初にhive-site.xmlを再び邪魔にならないようにします。デフォルトはダービーです

次に、derby で再度初期化を試みますが、「エラー: FUNCTION 'NUCLEUS_ASCII' が既に存在します」というエラーによって既に初期化されているようです。

私はこれで2日間過ごしました。どんな助けでも大歓迎です。

EMR 4.2 - Hive 1.0 バージョンで、リモートの mysql メタストアに接続したいと考えています。

このリモート メタストアは Hive .12 にありますが、新しいクラスターから同じメタストアに接続したいと考えています。新しい hive-site.xml 形式のため、metastore-uris に適切な値を与えることができません。9083 deoes がリモートに存在しないため。Id local を指定すると、ハイブはすべてのデータベースを認識しません。

誰もこれに直面して解決しましたか?

ありがとう！

外部結合を実行すると、「SequenceFile エラーではありません」というメッセージが表示されました。以前は同じ設定と同様のテーブルで動作していましたが、何が変わったのかわかりません。そのため、大きなキー スペースでかなり大きなテーブルを結合すると、このエラーが発生します。

YARN を使用して Hive 0.13.1 Cloudera 5.3.0 を実行しています。どちらのテーブルも orc tblproperties ("orc.compress" = "SNAPPY") として保存されます。

保管情報:

このタスクの診断メッセージ:

私の.hivercで

両方のテーブルをシーケンス ファイルとして宣言して実験しましたが、フル サイズのテーブルでは別のエラーが発生しましたが、小さなサンプルでは発生しませんでした: IndexOutOfBound.

メタストアは MySQL です。

Hive / Hadoop 設定の完全なリストを投稿するには長すぎますが、調べてみます。何を探すべきかわかりません。

それが IO または破損した HDFS に関連するものである場合、HDFS の正常性を確認するにはどうすればよいですか?

クラスに列挙型HiveConfがない理由を誰が知っていますか?HADOOPCONFhive-common jar

hive-common-1.2.1.jar HiveConf クラスを使用して HDFS (HA namenode) にアクセスするコードを作成すると、以下のエラーが発生します。

コードが構成されていHADOOPCONFないため、HDFS に接続できないことに気付きHADOOPCONFましたが、hive-common-1.2.1.jar にはもうありません。以前のバージョンの hive-common には HADOOPCONF があることがわかりました。

http://www.docjar.com/html/api/org/apache/hadoop/hive/conf/HiveConf.java.html

私の質問は、hive-common-1.2.1.jar を使用して、HiveConf クラスで HDFS (namenode HA) にアクセスするように構成するにはどうすればよいですか?

エラーは次のとおりです。

私のコードは次のとおりです。

1 つのハイブ テーブルにインデックスを作成しようとすると、エラーが発生します。

FAILED: ロックの取得中にエラーが発生しました: LockRequest のロック取得 (コンポーネント:[LockComponent(type:EXCLUSIVE、レベル:PARTITION、dbname:、テーブル名: jobs_indx_jobs_title、partitionname:year=2016/month=1/sourcecd=BYD)、LockComponent(type) :SHARED_READ, level:TABLE, dbname:, tablename:jobs), LockComponent(type:SHARED_READ, level:PARTITION, dbname:, tablename:jobs, partitionname:year=2016/month=1/sourcecd=BD)], txnid: 0、ユーザー:hadoop、ホスト名:Hortorn-NN-2.b2vheq12ivkfdsjdskdf3nba.dx.internal.cloudapp.net) が 5504043 ミリ秒後にタイムアウトしました。LockResponse (lockid:58318、状態:WAITING)

「show locks」コマンドの実行中に表示されるハイブ メタストア ロック情報がどのテーブルにあるか知りたいですか?

ハイブにリモート mysql メタストアを使用しています。ハイブクライアントを実行すると、完璧に動作します。しかし、spark-shell または spark-submit を介して spark-sql を使用しようとすると、ハイブに接続できません。& 次のエラーを取得:

メタストアに mysql データベースを使用しているときに、spark が derby データベースに接続しようとする理由がわかりません。

私はApache Sparkバージョン1.3とClouderaバージョンCDH 5.4.8を使用しています