問題タブ [avro]

ScalaでのAvroの操作を容易にするために、.avroファイルで保存されたスキーマに基づいてケースクラスを定義したいと思います。私は試すことができます：

1. .scalaケースクラス定義を手動で記述します。
2. プログラムで.scalaファイルに文字列を書き込む
3. ObjectWebのASMのようなバイトコードライブラリでケースクラス定義を偽装します
4. SpecificCompilerのトリック？
5. 実行時に既存のケースクラス定義を変更しますか？

ありがとう、どんなアドバイスも大歓迎です。-ジュリアン

文字列とマップで構成される単純なレコードを使用して、Avro for Java をテストしています。ここに私のスキーマがあります:

そして、これは失敗する非常に単純なテスト ケースです。

テストの出力は次のとおりです。

ご覧のとおり、2 つのマップは同じように見えますが、テストは失敗します。JUnit は内部で「equals」メソッドを呼び出し、true を返す必要があります。ところで、意味不明なことを知りたい場合は、通常、ランダムに生成されたデータを使用してテスト ケースを作成します。

私は何か間違ったことをしていますか？私が気付いていない文字列のシリアライゼーション/デシリアライゼーションのキャッチはありますか? オンラインで検索しましたが、成功しませんでした。

アイデア？

ありがとう

ジオデュード

自明ではない Avro スキーマを定義しようとしていますが、ほとんど成功していません。スキーマ構文エラーをスローしない場合、スキーマで定義しようとしているすべての型が生成されるわけではありません。

avsc 定義の可能な内容の完全な仕様はありますか? Doc仕様から理解していることから推測し続けていますが、明らかにそれだけでは十分ではありません.

一番、

エドアルド

私たちのボックスに ssh しhadoop fs -ls /theFolder てファイルをブラウズすることなどはできますが、私が知っているのはそれだけです :) 私の目標は、これらのファイルの 1 つ (Avro ファイル) をローカルのホーム フォルダーにコピーすることです。

どうすればこれを行うことができますか？コマンドも見つけましたgetが、それを訴える方法もわかりません。

Avro でタイプ エイリアス/シノニムを作成することはできますか (またはほぼ同じものを作成できますか)?

たとえば、暗黙のコンテキストに依存することなく、「長い」はエポックからのミリ秒の時間であるというフラグを立てたいと思います。

Haskell 用語では、次のようになります。

同様のScala用語で：

Avro でこれを行う同様の方法はありますか、それとも追加のメタデータを添付する必要がありますか? このスレッドは、次のようなレコード ラッパーを使用する必要がある可能性があることを意味します。

次のような 2 つ (またはそれ以上) の異なるレコードの結合を含むレコードで構成される Avro スキーマを定義しました。

あまり明確に見えませんが、理解していただければ幸いです。いくつかのデータ ("SomeCommonData" と "MoreCommonData") で構成されるレコードと、2 つの異なるタイプのレコード ("FirstOption" と "SecondOption") の和集合があります。 . シリアル化/逆シリアル化時に、2 つのサブレコードのいずれかを作成し、「MyCompositeRecord」をシリアル化できるはずです。

一般的なレコードのみを使用することを計画しているため、スキーマのコードを生成しようとはしていません。ただし、そのような一般的なレコードをシリアル化できるかどうか、またどのようにシリアル化できるかはわかりません。オンラインで例が見つかりません。Javaを使用してシリアライズ/デシリアライズします。次のように、スキーマのライター/リーダーを作成できました。

ここから実際にレコードを作成する方法についてのアイデアはありますか?

ありがとう