hadoop - HDFS で小さなファイルを粉砕する

Question

Mesos 0.17 で CDH5 に対して Spark 0.9.1 を実行します。これまで、CDH シリーズの「mr1」バージョンを使用し続けてきたので、小さなファイルでfilecrushプロジェクトを実行できました。さまざまな理由から、MR-2 に自由にアップグレードできるようにしたいと考えています。

Hadoop の map/reduce 以外でこれを行うためのツールはありますか? 現在使用している filecrush ライブラリは自明ではないため、パターンを Spark に変換するのは簡単ではありませんでした。

Answer 1

MR1 コードは通常、MR2 ライブラリに対して再コンパイルすることで、変更なし (またはごくわずか) で動作します。それはうまくいきませんか？これはおそらく非常に簡単です。

これを直接 Spark に変換することはできませんが、一連のファイルをマッピングし、結果を別のパーティショニングで出力することで、おそらく同様の効果を簡単に実現できます。InputFormatSpark が HDFS とそのs を使用してデータを分割して読み取るのと同じ問題が発生する可能性があります。これが、そもそも問題の原因です。