serialization - Avro は Writables に代わるものです

Question

私は Hadoop に非常に慣れていないため、そのシリアル化を詳しく調べる必要があります。Hadoop には、Writables と呼ばれる独自のシリアライザーが付属していることを知っています。Avro (または protobuf、thrift) が Writables インターフェイスに取って代わるのか、それとも Avro は MR クライアント データをシリアル化するためだけのもので、たとえば namenode と datanode 間の内部通信用ではないのか知りたいと思っていました。

Answer 1

AVRO はシリアライゼーション ライブラリです (多数の言語の API を備えています)。AVRO は、Key/Value オブジェクトを Writable として使用/実装する代替手段ですが、hadoop はさまざまなサービス (データノード、ネームノード、ジョブ、タスク トラッカー) 間で通信するときに独自の RPC データ構造を引き続き使用します。