スタンドアロン モードで単純な Spark クラスターをセットアップし、Apache Zeppelin をインタラクティブな Spark "スクラッチパッド" として使用したいと考えています。残念ながら、SparkContext
を起動すると、実験用クラスタのすべてのコアが占有されます。「動的割り当て」と呼ばれる新機能があることは知っていますが、YARN でのみ機能します。このクラスターには YARN がありません。データ バックエンドとして Cassandra を使用したいので、本格的な Hadoop スタックを実行したくありません。
これは、YARNを使用せずに何とか可能ですか?