Spark MongoDB コネクタを使用して mongodb からデータを取得しています。ただし、集約パイプライン (rdd.withPipeline) を使用して Spark を使用して Mongo でクエリを実行する方法を取得できません。以下は、タイムスタンプに基づいてレコードを取得するコードです。 & データフレームに保存:
val appData=MongoSpark.load(spark.sparkContext,readConfig)
val df=appData.withPipeline(Seq(Document.parse("{ $match: { createdAt : { $gt : 2017-01-01 00:00:00 } } }"))).toDF()
これは、タイムスタンプ値に spark を使用して mongodb でクエリを実行する正しい方法ですか?