0

CDH 埋め込み postGreSQL を使用するプロジェクトに取り組んでいます。数日前、私たちは 2 つのことを特定し始めました。Sqoop によって作成されるテーブル (ハイブ テーブル) が失敗し、ハイブからの動的パーティション テーブルの作成も失敗していました。

エラーは次のとおりでした

1 日目:

Loading data to table raw_store.user_pdp_visits partition (view_date=null)
Failed with exception MetaException(message:javax.jdo.JDODataStoreException: Insert of object "org.apache.hadoop.hive.metastore.model.MPartition@67d2b6c" using statemen
t "INSERT INTO "PARTITIONS" ("PART_ID","PART_NAME","TBL_ID","LAST_ACCESS_TIME","CREATE_TIME","SD_ID") VALUES (?,?,?,?,?,?)" failed : ERROR: duplicate key value violates
 unique constraint "PARTITIONS_pkey"
  Detail: Key ("PART_ID")=(481) already exists.
NestedThrowables:
org.postgresql.util.PSQLException: ERROR: duplicate key value violates unique constraint "PARTITIONS_pkey"
  Detail: Key ("PART_ID")=(481) already exists.)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

その後：

Moving data to: hdfs://hadoop01.snapdeal.com:8020/tmp/hive-hdfs/hive_2014-05-27_09-00-19_755_4383214683545337621-1/-ext-10000/view_date=2014-05-26
Loading data to table raw_store.user_pdp_visits partition (view_date=null)
Failed with exception MetaException(message:java.lang.RuntimeException: commitTransaction was called but openTransactionCalls = 0. This probably indicates that there ar
e unbalanced calls to openTransaction/commitTransaction)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

誰かが同じ解決策を提供できれば、それは本当に素晴らしいことです。

4

0 に答える 0