問題タブ [orc]

ファイルを追加する必要がある要件がありORCます。私はそれをグーグルで試しましたが、結果はありませんでした。またorg.apache.hadoop.hive.ql.io.orc.WriterImpl、ORCappend API もありません。ORCファイルを追加する方法はありますか? （より具体的にはJAVAを使用）

以前のバージョンでは、RDD に 'saveAsOrcFile()' メソッドがありました。これでなくなりました！データフレームのデータを ORC ファイル形式で保存するにはどうすればよいですか?

}

を使用して圧縮RCおよびORCファイル化しようとしていますLZ4。Hadoop-2.7.1 と Hive-1.2.1 をインストールしました。の場合、問題なくファイルをLZ4圧縮できます。RCしかし、をORC使用してファイルにデータをロードしようとすると、機能しLZ4ません。ORC以下のようなテーブルを作成しました。

しかし、データのロード時に次のエラーが発生します。

同じコマンドで and を使用しましたが、正常に動作していSnappyます。Zlibしかし、問題はLZ4. 理由がわからないのですが？

ORC ファイル形式のファイルをハイブ テーブルにロードしました。
を使用してファイルを読み込もうとすると

また

これでは何の結果も得られません...ハイブ0.14を使用しています

orcfiledump を使用するとエラーが発生します

ここに私のコードがあります:

ただし、ファイルは ZLIB として保存されます。

orcfile を読み取ってデータを orcfile に書き込むと、次のエラーが発生します。

正しくMapoutputValue.classないですか？

ORC ファイルを処理するマップ プログラムがあります。ドライバーから orcformat を入力フォーマットとして設定しました。

OrcNewInputFormat では、値は OrcStruct です。Map メソッドでは Writable 値がパラメーターとして渡され (value param)、以下のようにマップ内の OrcStruct に型キャストされます。

MRUnit を使用してこのマッパーをテストしたいと考えています。このために、単体テストのセットアップ メソッドで、testFilePath に ORC ファイルを作成します。

次に、テスト メソッドでそれを読み取り、MRUnit 呼び出しマッパーを使用します。以下はコードです

しかし、テストケースの実行中にエラーが発生します

orcserde を見ると、MRUnit が呼び出す write がサポートされていないことがわかります。したがって、テスト ケースのエラーが発生します。

Orc ファイルを処理しているマッパーをどのようにユニット テスト ケースしますか。私がしていることに他の方法や何を変更する必要がありますか?

助けてくれてありがとう。