問題タブ [spark-avro]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
json - 複雑なjsonまたは複雑なオブジェクトをSparkでParquetとして保存するには?
私は Spark が初めてで、複雑なオブジェクト (ネストされた) または複雑な json を Spark の Parquet として保存する方法があるかどうかを調べようとしています。Kite SDK は知っていますが、Map/Reduce を使用していることは理解しています。
私は周りを見回しましたが、解決策を見つけることができませんでした。
ご協力いただきありがとうございます。
java - Sparkでcsvファイルからavroファイルを書き込むには?
csv ファイルから作成された DF から avro ファイルを書き込もうとすると、NullPointerException に直面します。
私の pom.xml :
そして例外スタックトレース:
私は何が間違っているのかわからない？たぶん、依存関係が正しくありませんか？または、それは私が行う悪い練習ですか？
NPEはここにあります：DataFrameWriter<Row> format = write.format("com.databricks.spark.avro");
format.save("C:\\git\\sparkCsvToAvro\\src\\main\\resources\\avro");
"format" が null です。理由がわかりません。