問題タブ [spring-xd]

spring xd の新しいインスタンスが起動されたときに定義された一連のスチームとタップを起動する方法はありますか?

シナリオは次のとおりです。開発システムでいくつかのプロトタイプを作成しましたが、これをビルドしてテスト チームにリリースしたいと考えています。バックグラウンド作業のほとんどを自動化したいと考えており、ユーザーはストリームからの出力について心配するだけでよく、ストリームやその定義や展開について心配する必要はありません。

これを容易にするために、使用できるランタイム構成はありますか?

更新: 私たちの現在のアプローチでは、必要なストリームを作成してデプロイするために、Spring API にいくつかの残りの呼び出しを行うシェル スクリプトを記述します。

Spring XD のドキュメント ( http://docs.spring.io/spring-xd/docs/1.0.0.RC1/reference/html/ ) では、Zookeeper の可用性を高めるために、Zookeeper をアンサンブルで実行することを推奨しています。高可用性に関するRedisの詳細はあまりありません。

2 つの XD 管理インスタンスを実行し、4 つのコンテナー インスタンスと言う場合、3 つのオプションが表示されます。

コンテナーまたは管理を実行する各サーバーで Redis インスタンスを実行する必要がありますか? その場合、分散ランタイムは、異なるモジュールのトランスポートを処理する異なる Redis インスタンスで適切に動作しますか?

また

別のサーバーで 1 つの Redis インスタンスを実行し、このインスタンスと通信するようにすべての XD インスタンスを構成する必要がありますか? この場合、Redis の 1 つのインスタンスは高可用性ではありません

また

Redis クラスターまたは Redis Sentinel の高可用性を構成する必要がありますか? XD またはその他のクライアントがクラスターまたは HA にどのように接続するのかわかりません。

ありがとう

私は Spring XD のドキュメントをかなり詳しく読んでいますが、Hadoop YARN に関して達成したい 2 つのことを実際に把握することはできません。

たぶん、それらはまだサポートされていないか、サポートされることはありません-おそらく、シナリオを無意味にする何かが欠けているためです...

1. Hadoop YARN では、ApplicationMaster がコンテナを特定のホストに割り当てるように要求することができます。つまり、「ラック認識」です。これにより、HDFS 上のデータが格納されている場所の近くで処理を実行できます。

この種の機能は、ストリーム展開マニフェストで評価されたプロパティとして公開できますか?

同じコンテナーがストリーム内のすべてのモジュールに対して同じメッセージを処理する、分割されたストリームについて話しているわけではないことに注意してください。

一連のコンテナーに展開されたストリームの途中にモジュールの多くのインスタンスを配置したいと考えています。これらのコンテナーは、既存の大きな静的データのセグメントを保持することによっても機能します。コンテナの 1 つに保存されている関連する既存の大きなファイルに処理中の各メッセージをマッピングすることを含む、評価されたルールに基づいて、呼び出しごとに最適なモジュール インスタンスを選択したいと考えています。

1. ストリームが展開されると、1 つのモジュールの展開を複数のコンテナーに動的に「スケールアウト」することは可能ですか? たとえば、ストリームがデプロイされると、ストリーム内の 1 つのモジュールがボトルネックであることが判明した場合、そのモジュールのインスタンスの数をより多くのコンテナーで動的に増やすことができますか?

ありがとうニック

私はSpring XD M7バージョンに取り組んでいます。蒸気源を作成しました | プロセッサ | シンク。ソース フォルダーに合計 5 つのファイルがあります。ストリームがデプロイされると、redis が構成された 3 つのノード spring xd クラスターがある場所で順次処理されます。

入力ソースは xd-admin ノードのローカル ファイル システムです。ファイルを並行して処理するように spring xd を構成する方法はありますか。

パーティション戦略を使用すると、特定のファイルに特定のコンテナーに移動するように指示できます。しかし、これは私の要件ではありません。

ソース ディレクトリに 5 つのファイルがあります。redis が構成された 3 つのノード spring xd クラスターがあるため、ファイルを並行して処理したいと考えています。

これについて私を助けてください。

ありがとう、 -スヨーダ

春のXDは初めてです...

csv ファイルを読み取り、spring-data-cassandra を使用して Cassandra データベースにデータを挿入するジョブを作成しようとしています。

私のバッチプロジェクトではすべて問題ありません。バッチをパッケージ化して、Spring xd を "/module/job/myjob" (私は myjob と呼びました) にデプロイできます。

「myjob」ディレクトリには、config (myjob.xml を含む) と lib (すべての依存関係を含む) の 2 つのフォルダーがあります。

しかし、春の xd シェルで自分のジョブを作成しようとすると: job create --definition myjob --name test1

このエラーが発生しました：

そしてspring-xdログで：

spring-cql-1.0.1.RELEASE.jar を XD_HOME/lib に配置しようとしました (そこに jar を配置するのは好きではありませんが、そうするように求められました)。その後、エラーが変更されました。

私は確かに何かを逃した！

更新: $XD_HOME/modules/job に myjob.xml を配置し、$XD_HOME/lib に jar を配置すると、動作します ...

更新 2 : /modules/job/myjob/config|lib で動作するようになりました。モジュール ライブラリ ディレクトリに配置する必要のあるすべての jar ファイルを厳選しました。私は今、パフォーマンスの問題である別の問題を抱えています。そのために別の質問を投稿します。

どうも

私は、要件があるSpring xdとgemfire xdに取り組んでいます。xd-adminが実行されているノード(ローカルファイルシステム)の1つからデータを収集します。このファイルを収集し、処理のために送信します。以下は私のストリーム定義です。

ソースファイル /tmp/xd/input --ref true | プロセッサー (メッセージコレクター) | processor((式の計算) | シンク(gemfire xd)

私は 3 ノードの spring xd と gemfire xd クラスターを持っています。最初のノード (xd-admin.xd-container) と 2 & 3 ノードの xd-containers が実行されています。コンテナーは xd-admin に適切に登録されます。単一の redis インスタンスを構成しました。

私の要件は、ファイルからデータを収集し、プロセスのために送信して gemfire xd に保存することです。

messageCollector --> すべてのメッセージを HashMap として収集し、次のプロセッサに送信します 方程式の計算。ここで、すべてのレコードが方程式を通過して計算され、結果が次のシンク (gemfire xd) 挿入に送信されます。

これは、私は単一ノード環境でテストし、うまく機能しています。さて、上記で説明したように、分散環境に移行しました。

分散環境でモジュールを作成するにはどうすればよいですか。すべてのモジュールを使用可能なすべてのノードに移動する必要がありますか?

また

ソースモジュールは、実際のファイルと残りのモジュールが利用可能なすべてのコンテナーに移動する場所にのみ存在します。

ここでは、方程式計算モジュールで、ファイル内のすべてのレコードのシーケンスを維持しています。gemgire xd(sink) では、同じシーケンスをそのまま維持する必要があります。

現在は単一ノード環境にあるため、単一ノードで処理される全体としてうまく機能しています。

ここで、上記で説明したように、コンテナーがない分散環境に移動しました。挿入までシーケンスを保持する方法。

分散環境でのモジュールの展開を手伝ってください。

ありがとう、 -スヨーダ

ディレクトリ内のマルチファイルの出力を監視し、データを処理してHDFSに入れるストリームがあります。これが私のストリーム作成コマンドです：

問題はソースです。ファイルモジュールは、ファイルから読み取ったすべてのデータを、毎ターン1行ではなくログ処理モジュールに送信します。そのため、ペイロード文字列には数百万の文字があり、処理できません。元：

source:file モジュールを使用する場合に行単位で読む方法を教えてください、ありがとう!!!