問題タブ [lzo]

Izop 圧縮ファイルを S3 から Redshift にコピーしようとしています。このファイルは、もともと S3DistCp--outputCodec lzoオプションを使用して生成されたものです。

S3 ファイルは、コマンド ラインで正常にダウンロードして展開できるため、正しく圧縮されているようです。

しかし、それを Redshift にロードしようとすると、エラーが発生します。

ロードが失敗する原因についてのアイデアはありますか?

ネットワークから受信した圧縮バイト配列があり、LZO 圧縮されています。LZOを使用して解凍する必要があります。Pythonのパッケージを既にインストールしておりpython-lzo-1.0.8、Python シェルをチェックインしました。適切にインストールされていますが、LZO Decompression の使用方法や python-lzo のドキュメントが見つかりません。誰でもこれで私を助けることができますか?

ファイル処理における Apache Avro の用途は何ですか? TB のデータを .LZO 形式で処理する必要がある場合、誰か説明してもらえますか?

C++ と Java のどちらかを選択できますが、Avro にはどちらがより完全に適合しますか?

私の本当の目的は、圧縮ファイルを読み取り、いくつかの基準に従ってそれらを新しい異なるファイルに分類することです。

前もって感謝します.... ：）

私は得た：java.lang.UnsatisfiedLinkError: no gplcompression in java.library.pathだから私は従った：[ http://wiki.apache.org/hadoop/UsingLzoCompression]だから実行した後

$ant compile-native

多くのエラーが発生します：

ヘルプ！

hdfsでlzoファイルに圧縮されたファイルのサイズを取得したいのですが、ファイルを解凍したくありません。ファイルが非常に大きいため、PC にダウンロードするのに時間がかかります。

2 つのディレクトリに LZO 圧縮ファイルがあり、それを解凍してからすべての LZO 圧縮ファイルを削除する必要があります。

そのため、フォルダーに LZO 圧縮ファイルが/test01/primaryあり、それを解凍してからすべての.lzoファイルを削除する必要があります。/test02/secondaryフォルダでも同じことをする必要があります。両方のフォルダーに約 150 個の LZO ファイルがあるため、合計で約 300 個のファイルになります。

このように実行していたコマンドラインから、1つのファイルを解凍しlzop -d file_name.lzoました。

すべての LZO ファイルを解凍し、両方のフォルダーからすべての .lzo ファイルを削除する最速の方法は何ですか。

プロセスを高速化するために、両方のフォルダーで同時に「LZOファイルを解凍してからすべての.lzoファイルを削除する」ことを並行して行うことができるかもしれません。

生ログを保存するファイル形式を選択しています。主な要件は、圧縮され、分割可能であることです。これまでのところ、ブロック圧縮された (コーデックに関係なく) SequenceFilesとHadoop-LZOが最も適しているようです。

Map-Reduce で処理する方が効率的で、全体的に扱いやすいのはどれですか?

ハイブ コマンド プロンプトで次のプロパティを設定して、ハイブ テーブルを作成しました。

テーブル ステートメントを作成します。

ここで、この場所 /users/JOBDATA/comp に移動し、000000_0.deflate という名前のファイルを見つけます

これが圧縮ファイルかどうかはわかりませんが、ダウンロードすると読み取れません。もしそうなら、なぜ .lzo 拡張子がないのですか?

そうでない場合、.lzo ファイルはどこにありますか?

最後に、Javaを使用して解凍するにはどうすればよいですか? ありがとう

3 つの .lzo ファイルと、対応する .index ファイルが s3 にあります。これらのファイルのディレクトリに外部テーブルを作成しています。各 lzo ファイルのサイズは 100MB+ で、各ファイルの非圧縮サイズは 800+MB ブロックサイズは 128MB です。ハイブ クエリを実行すると、残念ながら 3 つのマッパーしか生成されず、分割が行われていないことが示唆されます。何が問題なのですか?