したがって、 spark-cassandra-connector を使用df
して Cassandra テーブルに配置するすべてのデータを含む Python Stream-sourced DataFrameがあります。私は2つの方法でこれをやろうとしました:
df.write \
.format("org.apache.spark.sql.cassandra") \
.mode('append') \
.options(table="myTable",keyspace="myKeySpace") \
.save()
query = df.writeStream \
.format("org.apache.spark.sql.cassandra") \
.outputMode('append') \
.options(table="myTable",keyspace="myKeySpace") \
.start()
query.awaitTermination()
ただし、それぞれこのエラーが発生し続けます。
pyspark.sql.utils.AnalysisException: "'write' can not be called on streaming Dataset/DataFrame;
と
java.lang.UnsupportedOperationException: Data source org.apache.spark.sql.cassandra does not support streamed writing.
Streamed DataFrame を Cassandra テーブルに送信できる方法はありますか?