問題タブ [spring-xd]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
spring-xd - Spring XD でリモートトランスポートを介して Java オブジェクトを渡す
Spring XD ストリーム内の 1 つの「フィルター」から次の「フィルター」に渡されるメッセージ ペイロードがカスタム Java クラス インスタンスである場合、その間の「パイプ」がリモート トランスポートである場合、ある種のシリアライゼーション メカニズムが必要になると思います。
- この場合、Spring XD ではどのような「シリアライゼーション」/「変換」が利用できますか?
- この場合、Java シリアライゼーションは機能しますか? また、カスタム クラスがシリアライズ可能な場合、Spring XD はオブジェクトを自動的にシリアライズ/デシリアライズしますか? それとも、ストリーム定義/モジュール定義でヒントを与える必要がありますか?
ありがとう、サイモン
sql-server - Spring XDを使用してOracleおよびSQLサーバーからHAWQにデータをロードする方法
こんにちは、Oracle と SQL Server にテーブルがあります。Spring XD を使用して、oracle および sql サーバーから Pivotal HAWQ にデータをロードする必要があります。ドキュメントで見つかりませんでした。
spring-batch - Spring XD ExecutionContext デシリアライザー
分離されたクラスパスを持つジョブ モジュールがあります。分離されたコンテキストからシリアル化されるステップ実行コンテキストに POJO を追加しました。このコンテキストがデシリアライズされると、例外がスローされます。これは、デフォルトの実行コンテキスト デシリアライザーが親の最初のクラスローダーではなくアプリ コンテキスト クラスローダーを使用するため、クラスをロードできないためです。回避策は、分離されたクラスパスではなく、POJO を含む jar をメイン クラスパスに追加することです。これらを分離されたクラスパスに保持し、ParentFirstClassloader を使用する方法はありますか?
スタックトレース
spring-xd - spring-xd yarn admin yarn-container が失敗する
バージョン: spring-xd-1.0.1
分散モード: 糸
Hadoop バージョン: cdh5
config/servers.yml を変更して、適切な applicationDir、zookeeper、hdfs、resourcemanager、redis、mysqldb を指すようにしました。
ただし、プッシュ後、管理者を起動すると、しばらくすると糸によって強制終了されます。コンテナが 31G のメモリを消費する理由がわかりません。この問題をデバッグするための正しい方向を教えてください。また、ログレベルを上げるにはどうすればよいですか
ログに次のエラーが記録されています。
Got ContainerStatus=[container_id { app_attempt_id { application_id { id: 432 cluster_timestamp: 1415816376410 } attemptsId: 1 } id: 2 } 状態: C_COMPLETE diagnostics: "コンテナー [pid=19374,containerID=container_1415816376410_0432] は、現在の物理メモリ使用量の制限を超えて実行されています。 : 1 GB の物理メモリを 1.2 GB 使用; 2.1 GB の仮想メモリを 31.7 GB 使用. コンテナーを強制終了しています。\ncontainer_1415816376410_0432_01_000002 のプロセス ツリーのダンプ:\n\t|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE\n\t|- 19374 19374 19374 (ジャバ) 3903 121 33911242752 303743 /usr/java/jdk1.7.0_45-cloudera/bin/java -DxdHomeDir=./spring-xd-yarn-1.0.1.RELEASE.zip -Dxd.module.config.location=ファイル:./modules-config.zip/ -Dspring.application.name=admin -Dspring.config.location=./servers.yml org.springframework.xd.dirt.server.AdminServerApplication \n\t|- 19374 24125 19374 19374 (バッシュ) 0 0 110804992 331 /bin/bash -c /usr/java/jdk1.7.0_45-cloudera/bin/java -DxdHomeDir=./spring-xd-yarn-1.0.1.RELEASE.zip -Dxd. module.config.location=file:./modules-config.zip/ -Dspring.application.name=admin -Dspring.config.location=./servers.yml org. springframework.xd.dirt.server.AdminServerApplication 1>/var/log/hadoop-yarn/container/application_1415816376410_0432/container_1415816376410_0432_01_000002/Container.stdout 2>/var/log/hadoop-yarn/container/application_1415816376410_0432/container_1415816376410_0432_01_000002/Container.stderr \ n\nリクエストによりコンテナが殺されました。終了コードは 143 です\nコンテナはゼロ以外の終了コード 143 で終了しました\n" exit_status: 143
spring-batch - Spring XD が強制終了されたときにジョブがレジストリから削除される
バッチ テーブル用の MySQL DB を使用して、Sandbox 環境用の単一ノードとして Spring XD を実行しています。Spring XD プロセスを -15 で強制終了すると、ジョブとストリームの現在の定義がすべて失われます (ジョブの場合、XD_JOB_REGISTRY は明らかに削除されます)。したがって、Spring XD を再起動すると、以前のジョブとストリームの定義がすべて失われます。
これが Spring XD の意図的なものなのか、それとも単一ノード モードで実行していることが原因なのかを知りたいです。それともバグですか？
SERVERS.YML の要旨を追加するために編集:
spring-xd - Spring XD - イベント配信の保証
複数のモジュールで構成されたストリームを作成する場合、各モジュールへのイベント配信に関する保証はありますか? イベントがリプレイされる可能性はありますか?
プロセッサ モジュールが 1 つのイベントを処理するのに長い時間がかかり、処理の途中でクラッシュした場合はどうなるでしょうか。モジュールがコンテナーで再起動されると、そのイベントはどうなりますか?