問題タブ [avro]

JSON をスキーマ言語として使用する初めての Avro スキーマを作成しています。プレーンな JSON にコメントを入れることができないことはわかっていますが、Avro ツールでコメントが許可されているかどうか疑問に思っています。たとえば、JSON を解析する前に (プリプロセッサのように) それらを削除する可能性があります。

編集: C++ Avro ツールチェーンを使用しています

私の avro ファイルには多数のレコードが含まれていますが、特定のレコードを読み取りたいのですが、リーダーにはファイル全体を走査するためのインターフェイスしかありません。特定のレコードに直接ジャンプしたいのです。これを行う方法はありますか？

ディレクトリ内の一部の XML ファイルを AVRO FILES に変換する方法はありますか??

そのため、XML ファイル内のデータが読み取られ、対応する同様の AVRO ファイルが作成され、一方の端でシリアル化され、もう一方の端で逆シリアル化されてデータが取得されます。

役立つパーサーまたは何かがありますか

HDFS の avro ファイルでシリアル化された Avro レコードを読み取る必要があります。これを行うには、AvroKeyInputFormat を使用して、マッパーが読み取りレコードをキーとして操作できるようにします。

私の質問は、分割サイズをどのように制御できますか? テキスト入力形式では、サイズをバイト単位で定義します。ここで、すべての分割を構成するレコード数を定義する必要があります。

入力ディレクトリ内のすべてのファイルを 1 つの大きなファイルのように管理したいと考えています。CombineFileInputFormat を使用する必要がありますか? Avroで使用できますか？

MapReduce ジョブで Avro を使用すると、静かで奇妙な動作が見られました。実際、使用されている Iterable は非常に奇妙です: iterator.next はオブジェクトを指すのではなく、関数「next」の呼び出しごとに値が変化するものを指します!!

例 ：

標準出力には次のように表示されます。

フー：バー

BAR：バー

ここで Iterable はどのようにコーディングされていますか? なぜ ？？それとも私は何か間違ったことをしていますか？

HBase に値として格納する複雑な Avro レコード (ネストされたレコード、unioned 型) があります。現在、ファイルのライター スキーマと HBase にあるレコードに一致するスキーマを使用して、Avro データ ファイルを読み取ります。

次に、HBase をチェックして、同じ行キーを持つレコードが既に存在するかどうかを確認します。get によって返される val は、Avro レコードのバイト配列表現です。

HBase に同じ行キーを持つレコードがない場合は、次の場所にレコードを配置します。

HBase に同じ行キーを持つレコードがある場合、HBase の結果のバイト配列を Avro スキーマに変換し直し、いくつかのフィールドを比較して、どのレコードが「より良い」かを確認します。「より良い」レコードを HBase に入れたいのですが、行き詰まっています。バイト配列を HBase から GenericRecord に変換して、自分のファイル レコードと HBase レコードの間でフィールドを比較するにはどうすればよいですか?

protobuff 形式でシリアル化されたデータがあり、それを Avro シリアル化に変換したいと考えています。

を使用してプロトデータを読み取るのに問題はありません

結果のoは、再び protobuf オブジェクトです。今、同じスキーマで avro としてoを書きたい

しかし、上記のコードを実行すると、書き込みメソッドで次の例外がスローされます

proto オブジェクトを avro オブジェクトに変換するにはどうすればよいですか?

よろしく、ローネン。