streaming - Hadoop ストリーミングの最大行長

Question

私は Amazon Elastic Map Reduce の Hadoop ストリーミング ワークフローに取り組んでおり、いくつかのバイナリ オブジェクトをシリアル化し、それらを Hadoop にストリーミングする必要があります。Hadoop には、ストリーミング入力の最大行長がありますか?

ますます大きな行でテストし始めましたが、最初にここで質問することにしました。

Answer 1

行の長さに制限はないようです。質問をして以来、私はバイナリ オブジェクトをシリアル化し、それらを base64 でエンコードしてから、処理のためにストリームに入れるコードを書いています。その結果、一部の行はかなり長くなります。Hadoop は問題なく動作します。