一連のリモートマシンに作業を割り当てるための良い方法は何ですか？タスクがCPUとRAMを非常に集中的に使用するが、実際には大きなデータセットを処理しない例を考えてみます。選択する言語はJavaです。Hadoopは良い選択肢だと思っていましたが、リモートマシン間で渡されるデータセットはかなり小さく、Hadoopは作業の分散ではなくデータの分散に主に焦点を当てているようです。
役立つことができるいくつかの良い技術は何ですか？
編集：私は主に負荷分散に興味があります。小さい（<3MB）データセットを使用する一連のジョブがありますが、かなりの処理とメモリが必要です。