問題タブ [spark-streaming-kafka]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
227 問題
0
投票する
1
に答える
1407
参照
pyspark - Spark ストリーミング/構造化ストリーミングで Kafka から avro メッセージを読み取る
初めてpysparkを使用しています。Spark バージョン: 2.3.0 Kafka バージョン: 2.2.0
ネストされたデータをavro形式で送信するkafkaプロデューサーがあり、pysparkのspark-streaming /構造化ストリーミングでコードを記述しようとしています。これは、kafkaからのavroをデータフレームに逆シリアル化し、変換によってparquet形式でs3に書き込みます。spark/scala で avro コンバーターを見つけることができましたが、pyspark でのサポートはまだ追加されていません。pyspark で同じものを変換するにはどうすればよいですか。ありがとう。