Bluemix で Apache Spark を使用しています。sparksql ジョブのスケジューラを実装したいと考えています。スケジューリングについて説明しているブログへのこのリンクを見ました。しかし、マニフェストを更新する方法は明確ではありません。私の仕事をスケジュールする他の方法があるかもしれません。
質問する
219 次
1 に答える
1
マニフェスト ファイルは、クラウド ファウンドリ (cf) アプリの展開をガイドするためのものです。したがって、あなたの場合、SparkSQL スケジューラとして機能する cf アプリをデプロイし、マニフェスト ファイルを使用して、アプリが Web アプリのルーティングなど、ユーザー向けアプリ用の何かを必要としないことを宣言したいようです。 、バックグラウンド スケジューラを実行したいだけなので。これはすべてうまくいっています。cf ドキュメントはそれを実現するのに役立ちます。
ただし、現時点では Bluemix Spark Service の SparkSQL スケジューラーを実行することはできません。これは、Bluemix の Data-Analytics セクションを介して Jupyter ノートブックのみをサポートするためです。つまり、ノートブック UI のみです。スケジューラ cf アプリから駆動できる Spark API が必要です。たとえば、Spark コンテキストを作成してから、あなたが言及した SparkSQL のようなプログラムを実行できる spark-submit タイプのもの。この API は、Apache Spark Bluemix サービスに導入される予定です。
更新: spark-submit1Q16 の終わりごろに利用可能になりました。これはシェル スクリプトですが、内部では を介して REST 呼び出しを行いcurlます。REST API はまだサポートされていないようですが、スケジューラーでスクリプトを呼び出すか、リスクを冒して REST API を直接呼び出して、変更されないことを願っています。
于 2015-11-18T20:06:24.063 に答える