問題タブ [lzo]

問題があります。いくつかの情報は次のとおりです。

ノード: 3 ノード、ただし構成は 2 リージョン サーバー
OS: Centos6.3
Apache Hadoop2.7.1
Apache Hbase0.98.12

私のhadoopとhbaseはlzo圧縮をサポートし、同時にsnappy圧縮の成功をサポートします。lzo圧縮を使用するhbaseテーブルがあり、snappy圧縮を使用する他のhbaseテーブルがあります。このテーブルに50個のリコーダーデータを挿入します。OK、挿入は問題ありません。しかし、Java APIを使用してこのテーブルをスキャンすると、リージョンサーバーの1つが死んでいます。

hbase ログをチェックしますが、エラーや例外はありませんが、hadoop ログをチェックすると、いくつかの例外が見つかりました:

hbase テーブルのスキャンのみで例外をスローする理由がわかりません。なぜなら、MR ジョブを実行すると lzo ファイルが Normal になるためです。ご回答ありがとうございます。

まず第一に、私は以前に多くの調査を行ってきましたが、簡単なことかもしれないことを尋ねなければなりません... またはそうでないかもしれません.

2 種類のキーがあり、1 つは自分でセットアップし、もう 1 つは単純な FourCC コードです。ただし、たとえば HxD を使用して、.exe のコードでそれらを見つけるのは非常に簡単です。したがって、.exe でキーを非表示にしたいのですが、変更したくありません。これが私のキーの例です。

ご覧のとおり、私は LZO を使用していますが、通常は彼女がどこにいるかを知っているので、鍵を見つけるのは簡単です...

次に、これが FourCC です (例: DXT1 のように文字を入力するだけなので、非常に簡単に見つけることができます。

そのため、メモリを使用してキーを非表示にするか (例はありませんが提供できます)、プログラムからキーを非表示にするためにキーを暗号化することを考えましたが、わかりません (またはよくわかりません)。 ) そのようなものを暗号化する方法:

ありがとう、良い一日を ！:)

Spark SQL を使用してファイルを書き込もうとしていparquetます。

デフォルトでは、Spark SQL は をサポートしていますが、や などgzipの他の圧縮形式もサポートしています。snappylzo

これらの圧縮形式の違いは何ですか?

テキストファイルをlzoファイルに圧縮し、プレーンなJavaプログラムでhadoopの外にあるlzoインデックスファイルを生成するために使用できるライブラリはありますか?

Cloudera ドキュメントの手順に従い、GPL Extras Parcel をクラスターにインストールし、Cloudera Manager を介して HDFS サービスを構成しました。しかし、HDFS で .lzo ファイルを読み込もうとするとエラーが発生しました。

私は十数件の投稿を読みましたが、JNI の lzo ライブラリの読み込みに失敗したことが原因であることがわかっていましたが、どれも私の問題を適切に解決できませんでした。以下は私が行った努力です: 1.すべての
データノードに lzop をインストールしました。
2.mapred-site.xml の JAVA_LIBRARY_PATH は、liblzo2.* ファイルを含む /opt/cloudera/parcels/CDH/lib/hadoop/lib/native に設定されました。
3.HADOOP_CLASSPATH は、hadoop-lzo.jar ファイルを含む /usr/local/lib に設定されました。

他に何ができますか？任意の提案をいただければ幸いです!

Hadoop DFS にコピーしたいサーバーに何百もの大きな lzo 圧縮ファイルがあります。圧縮されていないファイルに対して私が通常使用するコマンドは次のとおりです。

これは圧縮ファイルでは機能しないと思います（catおそらく意味がないため）。最初にファイルを Name Node と put にコピーする必要がありますか?

これを行うためのより良い方法があるはずです。

lzo アルゴリズムで圧縮された寄木細工のファイルを読みたいと思います。spark-shell (spark クラスターで ec2 ベース、ec2-script でビルド) を実行し、次のコードを入れたとします。

私はこの例外を受け取ります:

このガイドにも従いましたが、エラーは同じままです。提案？