アドホックな探索とバッチ ジョブには、Azure HDInsight で Spark 2.2 を使用します。
ジョブは、5x の中規模 VM クラスターで正常に実行されるはずです。それらは 1. ノートブック (Livy.spark2 マジックを使用した Zeppelin) 2. Livy で実行されるコンパイル済みの jar ファイルです。
お金を節約するために、使用していないときはこのクラスターを 1 ワーカーにスケールダウンすることを忘れないでください。（それが可能であれば、0人の労働者がいいでしょう）。
Spark にこれを管理してもらいたいのですが... ジョブが開始したら、最初にクラスターを最小サイズまでスケールアップし、それが完了するまで 10 分ほど一時停止します。ジョブのないアイドル期間の後、再びスケールダウンします。