単純な結合クエリを実行しています
select count(*) from t1 join t2 on t1.sno=t2.sno
ただし、メモリ不足の例外が発生しています。
t1とt2は両方とも、 rcfilessn でクラスター化およびソートされた形式であり、それぞれ 2,000 万件のレコードがあります。4 GB の RAM と 2 つの CPU コアを備えた 3 つのデータ ノードがあります。
マップ結合を実行しようとしましたが、失敗しています。
その他の構成オプションは次のとおりです。
io.sort.mb- 500 MB
io.sort.factor- 10
fs.memory.size.mb- 500 MB
お知らせ下さい。