0

Avro を使用して Hadoop HDFS からファイルを保存および読み取ることに興味があり、Avro のサポートの実装に関する Hadoop の問題トラッカーでいくつかの Jira を見ましたが、Hadoop で Avro サポートを有効にする方法の例はありませんでした。また、一部の Jira は 0.21 でクローズされたため、現在の 0.20 が Avro をサポートしているかどうかは完全にはわかりません。最新の 0.21 を入手してなんとか終了して Avro をオンにして使用することは可能でしょうか?

4

2 に答える 2

3

このブログ投稿では、Map/Reduce ジョブで Avro を使用するためのサンプル コードをいくつか示しています。ここでは、Avro を入力形式または出力形式、またはその両方として使用するための標準の Map/Reduce ジョブを構成する方法に関するコード スニペットをいくつか示します。また、二次ソート用のカスタム GroupComparator を作成する方法や、カスタム パーティショナーを指定する方法など、いくつかのトリックもあります (他では見つけられなかったもの)。

于 2012-01-25T18:27:20.820 に答える
0

Hadoop 0.20 (Amazon Elastic MapReduce) で Avro を使用しています。クラスパスに Avro jar を含め、Avro が提供するクラスを拡張して Map および Reduce タスクを実装することにより、Avro サポートを有効にします。

http://avro.apache.org/docs/1.4.0/api/java/index.html 、特にhttp://avro.apache.org/docs/1.4.0/api/java/の mapred パッケージを参照してください。 org/apache/avro/mapred/package-frame.html .

于 2010-09-24T00:33:14.873 に答える