ファイルを追加する必要がある要件がありORCます。私はそれをグーグルで試しましたが、結果はありませんでした。またorg.apache.hadoop.hive.ql.io.orc.WriterImpl、ORCappend API もありません。ORCファイルを追加する方法はありますか? （より具体的にはJAVAを使用）
質問する
2329 次
1 に答える
4
ORC データ ファイルは、独立したストライプに分割されます。各ストライプは、単一のアトミック ステップで作成されます。詳細については、公式ドキュメントを参照してください。
オンザフライで既存のファイルに直接追加できるとは思いません。これは、書き込み中にジョブがクラッシュした場合に備えて、破損したストライプ (したがって破損したファイル) を残すことを意味します。
でも君ならできる
orc.stripe.sizeレデューサーごとに新しい ORC データ ファイルを作成します (実際のデータ ボリュームとプロパティに応じて 1..N ストライプが含まれます)。- 次に、 Hive V0.14 以降を使用して、これらのデータ ファイルと既存のファイルを「連結」します。
于 2015-09-04T11:59:46.157 に答える