私はスパークするのが初めてで、「等しくない」条件で2つのデータフレームに結合しています。ある時点で私のプログラムは停止し、それ以上実行されず、例外も発生しません。
100000 レコードを含む単純なテキスト ファイルを使用しています。
プログラムに非遅延メソッド「collectAsList」があり、結合が実行されます。
スタック トレースは次のとおりです。
15/10/14 09:25:36 INFO TaskSchedulerImpl: Adding task set 25.0 with 2 tasks
15/10/14 09:25:38 INFO BlockManagerInfo: Added broadcast_3_piece0 in memory on 192.168.1.38:50065 (size: 4.7 KB, free: 5.2 GB)
15/10/14 09:25:38 INFO BlockManagerInfo: Added broadcast_2_piece0 in memory on 192.168.1.38:50065 (size: 4.8 KB, free: 5.2 GB)
15/10/14 09:25:38 INFO BlockManagerInfo: Added broadcast_2_piece0 in memory on 192.168.1.37:48062 (size: 4.8 KB, free: 5.2 GB)
15/10/14 09:25:38 INFO BlockManagerInfo: Added broadcast_3_piece0 in memory on 192.168.1.37:48062 (size: 4.7 KB, free: 5.2 GB)
15/10/14 09:25:39 INFO BlockManagerInfo: Added broadcast_0_piece0 in memory on 192.168.1.38:50065 (size: 13.9 KB, free: 5.2 GB)
15/10/14 09:25:39 INFO BlockManagerInfo: Added broadcast_0_piece0 in memory on 192.168.1.37:48062 (size: 13.9 KB, free: 5.2 GB)