0

ユーザーが機械学習フレームワーク/反復回数/その他の調整パラメーターを選択できるWebアプリケーションを開発しました。すべての入力と表示応答をユーザーに渡して、ユーザー インターフェイスから Spark ジョブを呼び出すにはどうすればよいですか。フレームワーク (dl4j/spark mllib/ H2o) に応じて、ユーザーは入力 csv をアップロードするか、Cassandra からデータを読み取ることができます。

  1. ユーザー インターフェイスから SPARK ジョブを呼び出すにはどうすればよいですか?
  2. 結果をユーザーに表示するにはどうすればよいですか?

助けてください。

4

1 に答える 1

1

こちらのgithub リポジトリをご覧ください。

ここでは、GETリクエストが到着するとすぐにCassandraからデータを取り出し、データを収集してレスポンスとして返す、ということを行っています。

だからあなたの場合:

あなたができることは、POSTリクエストを受け取るとすぐに、リクエストからパラメーターを取得し、これらのパラメーターを使用してそれに応じて操作を実行し、マスターで結果を収集してから、それをレスポンスとしてユーザーに返すことです.

PS:マスターでの収集は少しトリッキーで、大量のデータが OOM を引き起こす可能性があります。できることは、結果を Hadoop に保存し、URL を結果などに送り返すことです。

詳細については、この github に関連するこのブログを参照してください: https://blog.knoldus.com/2016/10/12/cassandra-with-spark/

于 2016-11-24T05:04:44.787 に答える