mapreduce - hadoop mapreduce で列の寄木細工をフィルタリングする方法

Question

データを寄木細工形式として hdfs に保存します。このデータを実行するために mapred を記述します success 、およびマップ内の列入力をフィルター処理したい、

hadoop mapreduce で列の寄木細工をフィルタリングする方法

Answer 1

parquet.read.schemamr ジョブ構成でプロパティを設定し、必要な列を含むスキーマ文字列を指定する必要があります (ファイルの寄木細工スキーマの射影)。もちろん、使用してExampleInputFormat.classください。

ソースコードなどを読むまでずっとこの疑問にParquetInputFormat.java GroupReadSuport.java頭を悩ませていたのですが、ParquetInputFormatはリクエストスキーマを使って読み込んでいます。