hadoop - WebHDFS と SequenceFiles

Question

WebHDFS がサポートしていないというのは本当SequenceFilesですか?

私はそれを言うものを見つけることができません。私は通常の小さなファイルの問題を抱えており、SequenceFiles十分に機能すると信じていますが、WebHDFS を使用する必要があります。を作成してから、SequenceFileWebHDFS 経由で追加する必要があります。

Answer 1

本当だと思います。シーケンス ファイルに追加する Web API はありません。

ただし、バイナリ データを追加することはできます。また、シーケンス ファイルがブロック圧縮されていない場合は、比較的少ない労力でクライアント上でデータをフォーマットできるはずです。これを行うには、クライアントのシーケンス ファイル ライターを介して入力を実行し、出力をアップロードに使用します (ファイル全体、または最後の追加以降のデルタを表すスライス)。

シーケンス ファイル形式の詳細については、こちらを参照してください。