問題タブ [writable]

Writable オブジェクトを返す SimpleTemplate クラスを用意します。どのような種類のオブジェクトを返すかがわからないので、これを行うことはできますか? 私はこのようなものを試しました：

また、別のメソッドから変数を読み取るにはどうすればよいですか?

プロセスのデバッグ中に、どのメモリ ゾーンが書き込み可能としてフラグ付けされているかを知る方法を知りたいです。

そのため、コードにブレークポイントを配置し、その時点でどのメモリ ゾーンが書き込み可能かを知りたいと考えています。どうすればいいですか？IDAプロを使用しています。

ありがとうございました

Hadoopを使って計算を分散してみました。

シーケンスの入力ファイルと出力ファイル、およびカスタム Writable を使用しています。

入力は三角形のリストで、最大サイズは 2Mb ですが、50kb ほど小さくすることもできます。中間値と出力は、カスタム Writable の map(int,double) です。これがボトルネックですか？

問題は、計算が Hadoop なしのバージョンよりもはるかに遅いことです。また、ノードを 2 から 10 に増やしても、プロセスは高速化されません。

1 つの可能性は、入力サイズが小さいために十分なマッパーを取得できないことです。を変更してテストを行いましたmapreduce.input.fileinputformat.split.maxsizeが、良くなるどころか悪化しました。

ローカルで Hadoop 2.2.0 を使用しており、Amazon Elastic mapreduce で使用しています。

私は何かを見落としましたか？それとも、これは Hadoop なしで実行する必要があるタスクの種類ですか? (mapreduce を使用するのは初めてです)。

コード部分を見たいですか？

ありがとうございました。

いくつかの Java コレクションを含む書き込み可能なカスタム クラスを作成しています。コンストラクターで2つのJavaコレクションを渡しています

これは、「java.lang.nullpointerException」を取得しているエラーです

Hadoop の NullWritable の概念がよくわかりませんでした。それは何のために使用され、なぜRCFileフォーマット aNullWritable.classおよび outputValueClass a の outputKeyClass なのBytesRefArrayWritable.classですか?

私のマッパーの実装

}

そして、Reducer の実装は次のとおりです。

}

二次ソートを使用する必要がありますか? そうする他の方法はありますか？

私はmap-reduceが初めてです。Hadoop でカスタム データ型を実装するときに、readfield と write メソッドをどのように使用するのか知りたいですか? 例えば、

上記の例では、カスタム レコードリーダーは set メソッドを使用して x、y、および z の値を設定します。最後に、マッパーでこれらの値を取得します。しかし、書き込み可能からの readfealds および write() メソッドの必要性は何ですか?? お願いします。ヘルプ