問題タブ [apache-spark]

Spark クラスターで実行できるように Play を構成するにはどうすればよいですか? 現在、私は Play を使用する Web フレームワークを持っていますが、Spark クラスターにも接続しています。実行するspark-shellと、次のようになります。これは良いことです。

...など

しかし、実行しようとするplay startと、上記のメッセージが表示されません (Spark をクラスターではなくローカルで実行していることを示します)。これを機能させるための正しい構成に関するアイデアはありますか?

機械学習アルゴリズムの実装のために Spark を評価する予定です。通常、私が実装するアルゴリズムは行列演算として表現されます。

私はそれに関して2つの質問があります-

1. Scala spark を使用して実装する場合、アルゴリズムを行列演算として表現する必要がありますか?
2. もしそうなら、Scala/Spark には優れた Matrix ライブラリがありますか?

マトリックス ライブラリとは、つまり、C の対応物、BLAS、Armadillo などと同じくらい強力なものです。

ありがとう！アジェイ

Sparkを使用して Amazon S3 からデータを読み取ろうとしています。しかし、私は得ています

Hadoop 呼び出し内から。jets3t をダウンロードして、含まれているすべての jar をクラスパスに追加しようとしましたが、役に立ちませんでした。何が起こっているかの完全な写しは次のとおりです。

マシン A に 1 つの Spark マスターがあり、別のマシン B と C に 2 つの Spark ワーカーがあります。何らかの理由でマシン A に障害が発生した場合、この場合、Spark マスターは停止します。

Spark Master を回復する方法、または別のマシンで新しい Spark Master を自動的に作成する方法はありますか?

誰でもこれを解決するのを手伝ってもらえますか?

前もって感謝します。

よろしく、 アユシュ

conf/slaves2 つのマシン A と B があります。マシン A で Spark Master を実行し、マシン B で Spark Worker を実行しようとしています。Spark ディレクトリにマシン B のホスト名を設定しました。

マスターとワーカーを開始するために実行するstart-all.shと、コンソールに以下のメッセージが表示されます。

マスターは開始されていますが、ワーカーの開始に失敗しています。

Spark ディレクトリに設定xyz@1XX.1XX.X.Xしました。conf/slaves

誰でもこれを解決するのを手伝ってもらえますか? これはおそらく、私の側で設定が欠けているものです。

ただし、同じマシンで Spark Master と Worker を作成すると、正常に動作します。

私のクラスターはSpark-0.7.2+Mesos-0.9です。Python で spark プログラムを作成しましたが、ローカル モードで問題なく動作します。しかし、mesos で実行すると、いくつかのエラーが発生しました。エラー情報は次のとおりです。

これは毎回起こっているわけではありません。ソケット接続が安定していないようです。誰かがこの問題を解決する方法を提案できますか?

Spark を ActiveMQ または Mosquitto MQTT ブローカーにサブスクライブしたいと考えています。どうやってやるの？

システムに個別のイベントのストリームが入ってきて、各イベントの内容に基づいてルールを適用する必要があります。また、これらのストリーム イベントに複雑なイベント処理を適用したいと考えています。

制約 1. これらのルールはユーザーが提供し、動的に変更されます。2. ルールが適用されるたびにシステムを再起動したくありません。3. HA 4. 成熟したオープン ソース ソリューションのみ

考えられる方法.. 1. ストーム ボルト内でエスパー CEP を
実行する 2. ストーム ボルト内でドロールを実行する

• これは、単一のイベント ルールの処理だけでなく、複雑なイベントの処理も行いますか? ルールを変更すると、ストームを再起動する必要がありますか?

• ルールをストーム ボルトに動的に挿入できますか?

その他のソリューション? スパーク？