問題タブ [livy]

アドホックな探索とバッチ ジョブには、Azure HDInsight で Spark 2.2 を使用します。

ジョブは、5x の中規模 VM クラスターで正常に実行されるはずです。それらは 1. ノートブック (Livy.spark2 マジックを使用した Zeppelin) 2. Livy で実行されるコンパイル済みの jar ファイルです。

お金を節約するために、使用していないときはこのクラスターを 1 ワーカーにスケールダウンすることを忘れないでください。（それが可能であれば、0人の労働者がいいでしょう）。

Spark にこれを管理してもらいたいのですが... ジョブが開始したら、最初にクラスターを最小サイズまでスケールアップし、それが完了するまで 10 分ほど一時停止します。ジョブのないアイドル期間の後、再びスケールダウンします。

私は Livy を使用して、完全に正常に動作する jar ファイルを作成し、HDFS に出力を書き込むことで、wordcount の例を実行しています。ここで、結果を HTML ページに戻したいと考えています。Spark scala、sbt、HDFS、Livy を使用しています。

GET/batches REST API は、ログと状態のみを表示します。

出力結果を取得するにはどうすればよいですか?

または、Livy で REST API を使用して HDFS のファイルを読み取るにはどうすればよいですか? これで私を助けてください。

前もって感謝します。