問題タブ [spring-xd]

環境に既にある Oracle(11g) で spring xd を実行したい。現在、私の最初の懸念はジョブ UI です (私のデータベースには、Spring-Batch によって実行されたジョブ実行の既存のデータがあり、単にそれらの実行の詳細を表示したいだけです)。

私は使用してspring-xd-1.0.0.M5います。リファレンスガイドの指示に従いましapplication.ymlたが、次のように変更しました。

batch-jdbc.properties上記と同様のデータベース構成を持つようにも変更しました。

それでも、開始するとxd-singlnode.bat（またはどちらかxd-admin.bat）、Oracleの構成が無視され、デフォルトのhsqldbが引き続き使用されるようです。私は何を間違っていますか？

ありがとう

spring-xd がストリーム内のプロセッサをどのように処理するのか疑問に思っていました。私が本当に知りたいのは、プロセッサがコードをブロックしているかどうか、またはリアクター ( https://github.com/reactor/reactor/wiki/Processor ) がプロセッサを処理する方法に関連しているかどうかです。

コストのかかるブロッキング操作 (外部システムの呼び出し) を実行する必要がある場合、最善の方法は何ですか? そのためにリアクタまたはその他のリアクティブ フレームワークを使用したいのですが、XD パイプライン アーキテクチャ内でどのように行うのですか?

よろしく

Javaでトランスフォーマーなどを記述する方法の例はたくさんありますが、フィルターについては何もありません（スクリプトタイプのフィルターを除くが、Javaメソッドを使用したい）。

ソースからシンクへのメッセージのペイロードをフィルター処理するカスタム Java フィルターを作成したいと考えています。

フィルタの例はすべて式を参照しています。

(どのように) 式として指定されたクラスで Java メソッドを実行するようにコンテキストに指示できますか?

HDFS にログ イベントをロードする単純な春の XD アプリケーションを試しています。spring-ampq/rabbit log4j appender(クラス) を使用してターゲット アプリケーションを構成org.springframework.amqp.rabbit.log4j.AmqpAppenderし、事前に構成された交換にログ メッセージを送り込みました。これらのメッセージを HDFS からプルし、HDFS にプッシュするように次のストリームを設定します。ここでは、ソース モジュールとシンク モジュールの両方が既製の XD モジュールです。

ストリーム定義、

新しいストリーム「demoQ1」を作成してデプロイしました

AMQP アペンダーは、メッセージを exchange にパブリッシュし、demoQ1 キューにルーティングします。ここで、rabbit ソースが最初のメッセージを取得し、メッセージを確認しないためスタックします。その理由は何ですか？

一部のデータを HDFS に保存するには、HDFS シンクを使用する必要があります。ストリーム定義を作成するとき、「ディレクトリ」プロパティを使用して、ファイルを保存する hdfs ディレクトリを指定できます。ただし、このユースケースでは、ディレクトリをタイムスタンプに基づいて動的にする必要があります。HDFSシンクのディレクトリプロパティでSpELを使用して、ヘッダーからタイムスタンプを抽出できるかどうか考えていましたか?

ありがとう！！

複数のソースからデータのストリームを作成し、hdfs にロードしようとしています。

概念実証のために、同じマシンで単一ノードの Hadoop インストールと Spring-XD を使用しています。Hadoop は Ambari と共にデプロイされ、機能的で正常であると報告されています (HDP 2.0)。Spring-XD は、環境変数 $XD_HOME を /var/spring-xd/xd に設定して /var/spring-xd にインストールされます。Spring のサーバーとクライアントの両方が--hadoopDistro hdp20フラグで実行されます。ただし、これまでのところログファイルでこれらのメッセージしか取得できません:

次のようなコマンドを正常に実行できます

xd-shell から実行し、正常に結果を取得します。

私は Spring-XD API を認識していますが、今のところ XD-Shell 内に留まりたいと考えています。どんな助けでも大歓迎です。