誰かがHadoopを使用して大きな画像をJPEG2000形式にエンコード/圧縮したこと/知っているかどうか疑問に思っていますか？このhttp://code.google.com/p/matsu-project/もあり、 mapreduceを使用して画像を処理します。
画像サイズは約1TB以上で、1台のマシンでは100時間以上かかります
1 に答える
0
あなたが話している画像の大きさはどれくらいですか？JPEG 2000 ウィキペディアのページから、タイリングとウェーブレット変換は簡単に並列化できるようです。タイルは互いに独立しているように見えます。JasPerと呼ばれるオープン ソース ライブラリがあり、かなり広く使用されているようですが、C で記述されているため、Hadoop への統合には少し注意が必要です。
基本的には、マップ ステップでコーデックを分割し、適切なタイリング関数とエンコード関数を呼び出し、リデュース ステップで画像を再構築して書き出す必要があります。おそらく、JPEG 2000 形式自体をかなり深く理解している必要があります。
問題は、圧縮されていないデータを移動してから再構築するのに、1 台のマシンでタイルを連続して処理する場合と比較して、どれくらいの時間を費やすことになるかということです。エンベロープ計算の一部を実行して、その価値があるかどうか、および単一のマシンで実行する場合と比較して理論上の速度がどの程度向上するかを確認することをお勧めします。
于 2010-11-29T06:34:54.010 に答える