問題タブ [avro4s]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - ToolBox を使用したリフレクションで暗黙的な解決が失敗する
クラスパスに基づいて、リフレクションで Avro4s の RecordFormat を生成しようとしています。次のコードはエラーをスローします。
タイプ com.sksamuel.avro4s.Decoder[mypackage.MyCaseClass] の証拠パラメーターの暗黙的な値が見つかりませんでした
RecordFormatは似ています
わかりました。解決できますが、 でEncoder[MyCaseClass]失敗SchemaFor[MyCaseClass]しDecoder[MyCaseClass]ます。
同じコードはRecordFormat[MyCaseClass]リフレクションなしで解決できます。
Decoderに似たマクロで実装されていることがわかりますEncoder。
リフレクションでは暗黙の証拠を解決できないのはなぜですか?
scala - scalaを使用してavro ocf形式(スキーマ付き)のデータ/ファイルを生成するには?
私はScalaの初心者です。
データ (ケース クラス) を avro OCF (スキーマを含む) 形式で S3 バケットに書き込む必要があるという要件があります。scala で avro 非 ocf(スキーマレス) 形式のデータを生成/シリアル化する方法はわかりましたが、OCF 形式を生成する方法は見つかりませんでした。
このリンクの例では、非 OCF 形式を生成する方法を示していますが、OCF 形式の生成を探してい ます https://dzone.com/articles/kafka-avro-scala-example
ヘルプ/提案をいただければ幸いです。
scala - kafka スキーマ レジストリを使用する場合、本当に avro4s が必要ですか?
confluent には、kafka トピックからケース クラスをシリアライズおよびデシリアライズできる kafka シリアライザがあり、レジストリからスキーマをプルすることに気付きました。
この場合、avro4s を使用することでどのようなメリットが得られますか?
hive - presto で Avro テーブルからデータを選択できない
プレストを使用して、ハイブに Avro テーブルを作成しました。以下のクエリを使用して
presto テーブルが正常に作成されていることがわかります。しかし、テーブルの内容を照会/表示しようとすると、以下のエラーが表示されます:
ユーザーが avro スキーマを外部ファイルとして指定してテーブルを作成できないと述べたブログを見つけましたが、テーブル定義で avro スキーマを指定すると、ブログ リンクが機能します。しかし、私は avro.schema.literal を使用できないことがわかりました。この git repo hiveテーブルのプロパティに従って利用できる唯一のオプションはavro_schema_urlであり、このプロパティは場所のみを受け入れます。
この点で何か助けてください。