問題タブ [mongo-scala-driver]

mongo-spark-connector を使用して、spark で単純なデータ エクスポーター ジョブを作成しました。このジョブは、mongo からコレクションを読み取り、S3 に書き込みます。ただし、巨大なサイズのコレクション (2B ドキュメント) の場合、executor と executor コアの数に関係なく、あまりにも多くの接続が開かれます。公式ドキュメントをチェックして、接続数を制限するコネクタ構成があるかどうかを確認してみました。しかし、彼らもそれを持っていません。Spark アプリケーションから生成される接続の数を制御する方法はありますか?

大きく、多くのレベルの構成を持つネストされたケースクラスのmongoコーデックを自動的に作成したいと考えています。

簡単な例として、次のクラスのコーデックを作成するとします。

createCodecProvider を使用する場合:

エラーが発生します：

次の方法は機能します。

しかしもちろん、大規模なケース クラスの場合、これを記述して保守するのは非常に困難です。

applicationId各ドキュメントから最新バージョンを取得し、特定の文字列 ( ) がリストにあるかどうかを確認するクエリが必要ですallowedApplications。

ドキュメントの例:

したがって、MongoDB クエリは次のようになります。

そして、クエリは名前とバージョンを出力します (おそらくallowedApplications後で追加します)。

これを Scala の mongodb ドライバーに書き込もうとしています。

たとえば、次のようなものを試しました。

しかし、それを機能させることができませんでした。

Scala 2.13.1 と mongo-scala-driver 4.1.0 を使用。どんな助けでも大歓迎です。