0

Microsoft azure HDInsight を使用しています。以下の形式のデータがあります。

コンテナ/フォルダ/年/月/日/ファイル1.csv

コンテナ/フォルダ/年/月/日/file2.csv . . 。等々。

以下のクエリを使用して、パーティションを含む外部テーブルを作成しました

'drop table partition;
CREATE EXTERNAL TABLE partition (id string, event timestamp and so on)
PARTITIONED BY (year INT, month INT, day INT)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
STORED AS TEXTFILE'

送信されたクエリが成功し、外部テーブルが作成されたという出力が得られました。

次に、Alter コマンドでパーティションを追加します。

'ALTER TABLE partition ADD PARTITION(year=2014, month=1, day=1)
 LOCATION'wasb://$containerName@$storageAccountName.blob.core.windows.net/containerName/folderName/2014/01/01';'

ここでもエラーは発生しませんでした。

次に、単純な選択ステートメントを指定すると、データ ファイルから何も取得できませんでした。

'select * from partition where year=2014 AND month=01 AND day=01 limit 10;'

そしてまた試した

'select * from partition limit 10;'

どちらの select ステートメントも何も返しませんでした。何が悪かったのか理解できません。何か提案はありますか？

4

1 に答える 1

0

データ ファイルが次のような Uri の BLOB ストレージに格納されている場合:

https://<account>.blob.core.windows.net/<container>/folderName/2014/01/01

次に、wasb: uri は次のようにする必要があります。

wasb://<container>@<account>.blob.core.windows.net/folderName/2014/01/01

または、これがクラスターの既定のストレージ アカウント/コンテナーである場合は、次を使用できます。

wasb:///folderName/2014/01/01

containerName上記の ALTER TABLE wasb:の余分な点は、事実上空のパスを指すことによって物事がうまくいかない可能性があります。

于 2014-05-05T15:21:35.743 に答える