問題タブ [hive-partitions]

動的パーティションを持つハイブ テーブルに挿入しようとしています。過去数日間、同じクエリが正常に実行されていましたが、現在、以下のエラーが発生しています。

以下の設定を使用すると、クエリは正常に実行されます

この値を true に設定すると、同じエラーが発生します。

ソース テーブルはシーケンス形式で格納され、宛先テーブルは RC 形式で格納されます。この設定が内部的にどのような違いをもたらすのか、誰か説明できますか?

外部テーブル パーティションの最適なサイズはどれくらいですか? 年/月/日ごとにテーブルを分割することを計画しており、毎日約 2GB のデータを取得しています。

hdfsにフォルダーがあります
/user/test/year=2016/month=04/dt=25/000000_0

上記のパーティション パスをテストテーブルに追加する必要があります。

指図 ：

ただし、このパーティションの追加コマンドは、月のパーティションの先頭のゼロを無視し、2016 内に月 = 4 として余分なフォルダーを作成します。 テーブルは、データを含まないこのパスを/user/test/year=2016/month=04/ /user/test/year=2016/month=4/ 指します。/user/test/year=2016/month=4/

私は言うログをチェックしました WARN org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer - Partition Spec month=04 has been changed to month=4

誰かがこの種の問題に直面したかどうか、またこれを回避する方法を教えてください。

ハイブのバージョン: 1.2.1000

ハイブのパーティション分割されたテーブルにデータを挿入しようとすると、エラーが表示されます。詳細は次のとおりです。

テーブル：

データは次のようになります。

挿入スクリプト:

これが私が受け取ったエラーです：

失敗: SemanticException [エラー 10096]: 動的パーティションの厳密モードには、少なくとも 1 つの静的パーティション列が必要です。これをオフにするには、 hive.exec.dynamic.partition.mode=nonstrict を設定します

最初に次の 2 行を実行して、いくつかのオンラインの提案に従いました。

そして、これが私が受け取った新しいエラーメッセージです：

最後に次のように述べています。

更新: @leftjoin による以下の提案に従いました。ここに新しい更新がありますが、まだ機能していません。欠落または間違ったスクリプトはありますか?

HIVEの外部テーブルは、年、月、日でパーティション分割されています。

次のクエリは、このクエリで参照されている特定のパーティションの外部テーブルからデータを削除しますか?:-