初めてpysparkを使用しています。Spark バージョン: 2.3.0 Kafka バージョン: 2.2.0
ネストされたデータをavro形式で送信するkafkaプロデューサーがあり、pysparkのspark-streaming /構造化ストリーミングでコードを記述しようとしています。これは、kafkaからのavroをデータフレームに逆シリアル化し、変換によってparquet形式でs3に書き込みます。spark/scala で avro コンバーターを見つけることができましたが、pyspark でのサポートはまだ追加されていません。pyspark で同じものを変換するにはどうすればよいですか。ありがとう。