Kafka トピックをリッスンする Spark ストリーミング アプリケーションがあります。データを取得したら、それを処理して Kudu に送信する必要があります。現在org.apache.kudu.spark.kudu.KuduContext API
、データフレームで挿入アクションを使用して呼び出しています。collect()
データからデータ フレームを作成するには、sqlContext を使用してデータ フレームを作成できるように呼び出す必要があります。
データフレームを作成する/データをKuduに挿入する方法はありcollect()
ますか?もちろんコストがかかりますか?
Spark 1.6 を使用しています