Spark データフレーム データを Hive に配置するために使用するアプリケーションがあります。
初めて、アプリケーションは 100 コアと 10 GB のメモリを使用し、大量の 32 Mb チャンクをリークした後、この OutOfMemory エラーを生成します。
その後、100 コアと 20 GB のメモリでアプリケーションを実行すると、別のリーク サイズ (64 Mb) が発生し、続いて同じ OutOfMemory エラーが発生します。
誰でもこの動作を理解するのを手伝ってもらえますか?