hadoop - Hadoopのマップ関数で適切な値の型を選択するには?

Question

その値が大きいプログラムを使用しています。各値は ID 番号 (コンマで区切られた整数) で構成されます。

値 1: 1,207,688,4401,5432,40000,872111100

値 2: 65,876,992,10002,9843221

値をテキストで保存したのですが、1文字につき1バイトになってしまいます。値をテキスト型として保存しますか? それを保存するのに最適な形式はどれですか？ありがとう。

Answer 1

メモリ効率が本当に問題であり、これらの ID の長さが を超えないことがわかっている場合Long.MAX_VALUEは、LongWritable.

逆に、1 文字あたりのバイト単位の値が数値形式で格納するよりもメモリ効率が高いほど長くなる傾向があることがわかっている場合は、Text完全に適しています。

ほとんどの場合、とにかくファイルに書き出されることを考えると、あまり心配する価値はありません。通常long、それを使用して実行される何らかの形式の計算がある場合にのみ、に変換する価値があります。Text最初の解析に加えて変換オーバーヘッドを回避するために固執します。