問題タブ [spark-avro]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - avroファイルで1つの列を他の列にマップする方法は?
Spark 2.1.1 と Scala 2.11.8 を使用しています
この質問は、私の以前の質問の拡張です。
変更点は、CSV ファイルからデータを読み取るのではなく、avro ファイルからデータを読み取るようになったことです。これは、データを読み取っている avro ファイルの形式です。
avro ファイルを別のクラスで解析しています。
上記のリンクの受け入れられた回答で述べたのと同じ方法で、tids 列をすべての uid にマップする必要があります。ただし、今回は適切にフォーマットされた csv ファイルではなく avro ファイルからのものです。これどうやってするの？
これは私がそれをやろうとしているコードです:
obj.tids の後、すべての uids 列を個別にマップして、上記のリンクの受け入れられた回答に記載されているのと同じ最終出力を得る必要があります。
これは、avro ファイル解析クラスですべての uid を解析する方法です。
PS : 質問がばかげているように思われる場合は申し訳ありませんが、これはavroファイルとの最初の出会いです
apache-spark - スキーマを使用してデータフレームを avro に変換するには?
ユーザー指定のスキーマを使用してデータフレームを Avro 形式に変換する方法は?