プロジェクトにApache Avroを使用していますが、 mapsと呼ばれるものを理解できないようです。使用中のマップの例を見つけることができませんでした。仕様の例はかなりむき出しです:

マップ

マップはタイプ名を使用し、"map"1 つの属性をサポートします。

• values:マップの値のスキーマ。

マップ キーは文字列と見なされます。

たとえば、string から long へのマップは次のように宣言されます。

{"type": "map", "values": "long"}

そのスキーマに適合するデータは、JSON としてどのように見えるでしょうか? レコードが優れていないのに、マップにはどのような用途がありますか?

私は Hadoop に非常に慣れていないため、そのシリアル化を詳しく調べる必要があります。Hadoop には、Writables と呼ばれる独自のシリアライザーが付属していることを知っています。Avro (または protobuf、thrift) が Writables インターフェイスに取って代わるのか、それとも Avro は MR クライアント データをシリアル化するためだけのもので、たとえば namenode と datanode 間の内部通信用ではないのか知りたいと思っていました。

Hadoop の世界は初めてです。Hadoop には、Writables と呼ばれる独自のシリアル化メカニズムがあることを知っています。そして、その AVRO は別のそのようなライブラリです。Google のプロトコル バッファ シリアライゼーションを使用して map-reduce ジョブを記述できるかどうか知りたいですか? はいの場合、誰かが私を始めるための良い例を指摘できます.

私は、oozie で Avro map-reduce を実行しようとしています。Workflow.xml でマッパーとリデューサー クラスを指定し、他の構成も提供します。しかし、それは

(oozie 経由ではなく) Hadoop クラスターで直接実行すると、同じジョブが完了し、目的の出力が得られます。そのため、いくつかの oozie 構成が欠落している可能性が高いようです。例外から私が推測するのは、oozie ではマッパーをサブクラスにする必要があるorg.apache.hadoop.mapred.Mapperが、Avro マッパーには異なる署名があるということです。それらは org.apache.avro.mapred.AvroMapper を拡張しており、これがエラーの原因である可能性があります。

私の質問は、oozie ワークフロー/プロパティ ファイルを構成して、Avro map-reduce ジョブを実行できるようにする方法です。

I am trying to figure out the best way to send out an avro object within an http request. I was thinking about performing this via python. I am a little confused about how this can be achieved. Would I be creating a POST request with the data attribute equal to the location where the avro file is located? Is there a way to create a whole bunch of avro objects on the fly and instead of storing them in a physical location, stream them into the POST request? I am not sure how byte arrays can be send across the wire to the server. It will be great to get some insight into the fundamentals of this process.

Thanks

Apache AvroがJSONを使用してスキーマを定義するのはなぜですか？IDLを直接使用してスキーマを定義してみませんか？IDLをJSONに変換する利点は何ですか？

HDFS に保存されている Avro ファイルを簡単に読み取ろうとしています。ローカルファイルシステムにあるときにそれを読み取る方法を見つけました....

ただし、私のファイルは HDFS にあります。openReader にパスまたは FSDataInputStream を与えることができません。HDFS で Avro ファイルを簡単に読み取るにはどうすればよいですか?

編集: SeekableInput を実装するカスタム クラス (SeekableHadoopInput) を作成することで、これを機能させました。これは github の「Ganglion」から「盗み」ました。それでも、これには Hadoop/Avro 統合パスがあるようです。

ありがとう

Pythonに次のようなAvroスキーマを解析させようとしています...

...そして私は次の例外を受け取ります：

私は何が間違っているのですか？

AvroRPCサーバーにデータを送信する既存のAvroRPCクライアントがあります。Avro RPCサーバーは現在、データをHDFSに書き込みます（他のことも行います）。サーバープロセスをStormに基づくように変更しています。できれば現在のAvroRPCメッセージを使用して、データをStormに取り込む簡単な方法を見つけたいと思っています。

私はこれを行う方法を探していましたが、これまでのところ成功していません。StormにはRPCモデルがありますが、文字列の受け渡しに限定されているようです。これは避けたいと思います（そもそもなぜAvroに行ったのか）。Zeromqは可能性があるかもしれませんが、私がやろうとしていることには限界があるようです。

スキーマベースのデータであるAvroRPCをStormに取り込むためのエレガントな方法を誰かが提案できますか？

ありがとう！！！！

Avro シリアライゼーションは Hadoop ユーザーに人気がありますが、例を見つけるのは非常に困難です。

このサンプル コードを手伝ってくれる人はいますか? Reflect API を使用してファイルの読み取り/書き込みを行い、Union および Null 注釈を使用することに主に関心があります。