MLLib を使用してランダム フォレストをトレーニングしています。深さ 15 までは問題なく動作していますが、深さ 20 を使用すると
java.lang.OutOfMemoryError: 要求された配列サイズが VM の制限を超えています
ドライバーでは、DecisionTree.scala の collectAsMap 操作から、642 行目あたりで発生します。これは、トレーニングを開始してから 1 時間経過するまで発生しません。maxMemoryInMB=250 の 36 スレーブで 50 ツリーを使用していますが、240G のドライバー メモリを使用してもエラーが発生します。
以前にこのコンテキストでこのエラーを見た人はいますか?何が原因であるかについてアドバイスできますか?
ベスト、ルーク