azure-data-lake - 動的データから ADL のテーブルにパーティションの範囲を追加できますか

Question

特定の静的データに固定するのではなく、動的にパーティションを追加することは可能ですか? たとえば、異なる CSV レコードからすべての日付のパーティションを作成する必要がある場合。

Answer 1

今日、ALTER TABLE ADD PARTITION を明示的に (パーティション分割されたテーブルを作成した後に) 使用してパーティションを作成する必要があります。したがって、現在の提案は、データのすべての異なる日付を調べて、プログラムで ALTER ステートメントを生成することです。

より動的なパーティション生成のために、http://aka.ms/adlfeedbackに要求を追加することをお勧めします。

Answer 2

動的データ (日付は典型的な例です) を渡してパーティションを作成できます。以下のサンプル コンストラクトが役に立ちますか?

例えば

CREATE TABLE MyTable(Day DateTime, MyValue string, ....,
                     INDEX idx CLUSTERED(MyValue)
                     PARTITIONED BY BUCKETS(Day)
                     HASH(MyValue) INTO 100
);