mapReduce プログラムでカスタム クラスのオブジェクトをパラメーターとしてマッパーに渡すにはどうすればよいですか?? JobConf には、boolean、string、int、および long の「set」メソッドがあります。Document オブジェクトをパラメーターとしてマッパーに渡したい場合はどうすればよいですか? 誰でも私を助けることができますか？
1825 次
2 に答える
2
マップ全体をマッパーに渡したいという人にヒントを与えました。
考え方は同じです。オブジェクトを文字列にシリアル化し、構成に入れる必要があります。JSON は非常にうまく機能します。これは、構成が XML としてシリアル化され、逆シリアル化中に問題が発生しないためです。
于 2012-08-02T12:30:08.080 に答える
1
オブジェクトが Writable を実装している場合は、それを Byte 配列にシリアル化し、Base64 でバイト配列をエンコードしてから、結果の文字列を構成に保存できます。デコードするには、反対のことを行います。
もちろん、オブジェクトのフットプリントが非常に大きい場合、これはお勧めしません。この場合、HDFS のファイルにシリアル化し、分散キャッシュを使用する方がよいでしょう。
于 2012-08-02T13:47:24.193 に答える