hive - S3 データの HIVE テーブルから個々の列をクエリ中に FileNotFoundException を取得する

Question

以下のステートメントを使用して、HIVE にテーブルを作成しました。私の入力データは にありS3(s3n://test/hiveTest/01/)ます。

CREATE external TABLE tests3(firstName STRING, lastName STRING) ROW FORMAT
DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
location 's3n://test/hiveTest/01/';

以下のコマンドを発行すると、結果データを確認できます。

ハイブ > テストから * を選択します3; OK 最初 2 番目 3 番目 4 番目 かかった時間: 1.647 秒

しかし、テーブルから特定の列を選択すると、以下のエラーが発生します

hive> tests3 から firstName を選択します。MapReduce ジョブの合計 = 1 1 のうち 1 のジョブを起動中 reduce オペレーターがないため、reduce タスクの数は 0 に設定されます。 hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:736) org.apache.hadoop.mapred.lib.CombineFileInputFormat$OneFileInfo.(CombineFileInputFormat.java:462) org.apache.hadoop.mapred.lib.CombineFileInputFormat.getMoreSplits (CombineFileInputFormat.java:256) org.apache.hadoop.mapred.lib.CombineFileInputFormat.getSplits(CombineFileInputFormat.java:212) org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileInputFormatShim.getSplits(HadoopShimsSecure.java:387) ) org.apache.hadoop.hive.shims にあります。

Answer 1

クエリを実行する前に、次のパラメータを設定してください。

SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;