問題タブ [spark-structured-streaming]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

1999 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
10513 参照

scala - 構造化ストリーミングを使用して Kafka から JSON 形式のレコードを読み取る方法は?

DataFrame/Dataset API に基づく Spark-Streaming を使用して、構造化されたストリーミング アプローチを使用して、Kafka からデータのストリームをロードしようとしています。

私が使う：

  • スパーク 2.10
  • カフカ 0.10
  • spark-sql-kafka-0-10

Spark Kafka DataSource は、基礎となるスキーマを定義しています。

私のデータはjson形式で提供され、値列に保存されます。基になるスキーマを value 列から抽出し、受信したデータフレームをvalueに格納された列に更新する方法を探していますか? 以下のアプローチを試しましたが、うまくいきません。

org.apache.spark.sql.AnalysisException: Can't extract value from value#337;ここで、ストリームの作成時に内部の値が不明であるため、例外が発生しています...

何か提案はありますか？


12345678910