問題タブ [spring-xd]

Spring XD を使用して JSON データを取得し、タップを作成し、groovy スクリプトを使用してレコードの合計を実行する必要があります。

Groovyスクリプトを使用して、Min、Maxなどの集計関数も必要です..

これを行う方法のようなアイデアを持っている人..

Eclipse を介して SingleNodeApplication を実行することで spring-xd シングル ノードを起動できましたが、ブラウザでアプリケーションを管理しようとすると、403 エラーが発生します。その原因を調査する前に、spring-xd チームが eclipse IDE を介して spring-xd を実行するためにどのようなプラクティス/プロセスを使用しているかを知りたいと思います。ドキュメントとグーグルを調べましたが、リンクが見つかりませんでした。

ここで別の投稿を開始することはできないため、同じ投稿を編集して詳細を追加します。

まず第一に、デザインの議論はこの場所で行われるべきではありませんが、私はフォーラムが活発であるとは思いません.なぜそうなのかはわかりません. 私はビッグデータ プラットフォームの開発を計画しており、プラットフォームの機能のほとんどは spring-xd でカバーされているようです。したがって、その上に追加機能を構築できるかどうかを評価しています。今のところ、spring-xd には見られない要件はほとんどありません。

1) プラットフォームは、sprind-xd で見つからないモジュールのホット デプロイをサポートする必要があります。少なくともドキュメントからは確認できませんでした。モジュール内の xml を更新しようとしましたが、デプロイ トレースが表示されることを期待していましたが、そうではありませんでした。そのため、現時点ではホット デプロイメント機能はないと想定しています。コードを深く掘り下げる前に、同じことを確認してください。

2）モジュールではないサービスを作成するにはどうすればよいですか。コンテナのシステム情報を送信したり、クリーンアップを実行したりするバックグラウンドジョブである可能性があります。ジョブとして書くことはできますが、適切な用語はサービスになると思います。は ETL を一切行わず、単純なサービスです。そうするための推奨される方法は何ですか？

ありがとう。

spring-xd-1.0.0.M6 を使用しています。

Spring-xd のシンクとして mysql DB を構成しようとしています

私は従う - http://theblasfrompas.blogspot.in/2014/01/springxd-filetail-input-ingestion-jdbc.html

jdbc.properties ファイルを入れました -

1)spring-xd-1.0.0.M6/xd/modules/sink/jdbc/config 場所

2) mysql コネクタ jar を

ファイル-input.txtを作成し、フォルダーに入れます-/<some path>/temp/input.txt

ファイルには

jdbc ファイルには、次の情報が含まれています。

XDシェルで次のように実行します

私のmysql DBテーブル名は-file_testで、idとnameの2つの列があります-で述べたのと同じですExample Link

しかし、私は得る

tableName パラメータを指定すると、..

私も参照しています - https://github.com/spring-projects/spring-xd/pull/621

しかし、手がかりは少ない....最新のSpring-xdビルド

Spring XD には、バッチ ジョブの作成/デプロイ/アンデプロイを提供するための非常に興味深い API があります。

しかし、Spring XD がジョブ実行 (およびステップ実行) の結果データセットにアクセスするための GET メソッドを REST Api で提案していないのはなぜでしょうか?

バッチ ジョブの結果を表示するには、別の Spring MVC アプリケーションをプラグインする必要がありますか?

どうもありがとう。

1 つの JMS ブローカーからデータを受信するシナリオで Spring Xd を動作させることができました。データの取り込みがさまざまなソースから発生する可能性があるため、さまざまなブローカーに接続する必要があるというシナリオに直面している可能性があります。私の現在の理解に基づいて、1 つのブローカーのみをセットアップできる JMS 構成ファイルが存在するため、これを行う方法がよくわかりません。

これに対する回避策はありますか?

xd-singlenode と xd-shell を使用して、Spring XD ストリームを Hortonworks サンドボックス バージョン 2.0 に保存しようとしています。xd ディレクトリは作成されず、ストリームは Hortonworks hadoop hdfs に保存されません。

環境: Apple OSX 10.9.3、Hortonworks Sandbox を Oracle Virtualbox (Red Hat 64 ビット) で実行、ブリッジ モード ネットワークを使用。WiFi ルーターで固定 IP アドレス (192.168.178.30) を Virtualbox の MAC アドレスに割り当てました。OSX Safari で 192.168.178.30:8000 を参照すると、ファイル ブラウザ、Pig、Beeswax (Hive) などの Hortonworks メニューを使用できます。

Homebrew を使用して Spring XD をインストールしました。OSX で /usr/local/Cellar/springxd/1.0.0.M6/libexec/xd/config/servers.yml ファイルをインクルードするように変更しました

と

Virtualbox 内で、ファイル /etc/hadoop/conf.empty/hadoop-env.sh を次のように変更しました。

次のコマンドを使用して、OSX で Spring XD を起動します。

そして2番目のOSXターミナルで：

xd-shell に次のように入力します。

xd-shell で「hadoop fs ls /」コマンドを実行すると、次のようになります。

コマンドでSpring XDストリームを作成すると

次に、OSX で /tmp/xd/output/twvoetbal.out ファイルが作成されます。Spring XD は、私の Twitter 開発者の秘密鍵を含めて動作します。

コマンドでSpring XDストリームを作成すると

その場合、hadoop hdfs には xd ディレクトリもファイルも作成されません。

質問:

1. xd-shell の「SCDynamicStore からレルム情報を読み込めません」というエラーを解決するにはどうすればよいですか?
2. xd-shell の「WARN Spring Shell util.NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applied」エラーを解決するにはどうすればよいですか?
3. 他に何が間違っていたでしょうか？