hdfs - Flume を使用した圧縮ファイルの取り込み

Question

Flume ng 1.3.0 を使用して、任意のタイプの圧縮ファイル (zip、bzip、lz4 など) を hdfs に取り込むことはできますか? spoolDir を使用する予定です。提案をお願いします。

Answer 1

カスタムソースコンポーネントと解決を書きました。カスタム ソースを使用して、あらゆる種類のファイルを取り込むことができます。

Answer 2

ソースでファイルを圧縮せずに残しておき、HDFS に取り込まれるときにデータを圧縮するために Flume が提供する圧縮アルゴリズムを使用することができます。Avro のソースとシンクは、使用を計画している場合に備えて、圧縮もサポートしています。