問題タブ [spring-cloud-task]

プライベート Cloud Foundry スタックで FRP (AWS Lambda に似たもの) のラインでオンデマンド アプリケーションを開発する必要があります。これは、他の方法では常に少量のアプリケーションを実行するコストを節約するためです。

メッセージが JMS ベースのメッセージング システム (IBM MQ など) に届いた場合にのみ、アプリケーションをトリガー/開始する必要があります。少量のアプリケーションであるため、それ以外の場合は停止したままにする必要があります。

詳細な調査と Spring ドキュメントの検索に基づいて、メッセージがソース キューに表示されるたびにマイクロサービスをトリガー/開始し、完了時にシャットダウンする望ましいソリューションには、次の組み合わせが必要になるように思われます。Spring Cloud Data Flow + Spring Cloud Stream + Spring Cloud Task をテクノロジースタックとして。

さまざまなサンプルのうち、以下の組み合わせは、ローカル マシンで PoC を開始するために必要なもののようです。

https://github.com/spring-cloud/spring-cloud-task/tree/master/spring-cloud-task-samples/tasksink https://github.com/spring-cloud/spring-cloud-stream-samples /tree/master/sink https://github.com/spring-cloud/spring-cloud-dataflow/tree/master/spring-cloud-dataflow-server-local

ただし、すべてをプラグインして結果を達成する方法はまだわかりません。

ある程度の進歩はありますが、このソリューションのアーキテクチャを完全に明確にすることはまだ明確ではありません。

私が理解している限りでは、私たちは...

1. Spring Cloud DataFlow サーバーを実行する
2. Spring Cloud DataFlow Shell または UI を実行する
3. Spring Cloud Stream シンク アプリケーションを作成して実行します (Maven にもインストールする必要がありますか?)
4. Spring Cloud Task シンク アプリケーションを作成し、Maven Repo にインストールします
5. Spring Cloud Task も作成する必要がありますか?
6. モジュールを登録します (しかし、この場合のモジュールとは何ですか?)
7. DF サーバーでストリームを作成し、その上に展開します
8. もっと何か？

...結果を達成するために。

誰かがこれで私を助けて、ここから逃したビルディングブロックを提案できますか? そして、上記の質問に対する答えがわかっている場合。

また、私の理解にギャップがあり@EnableTaskますか?アプリケーションがトリガーされたときにのみ実行され、それ以外の場合は停止したままになるのに十分なほど正しく想定していますか?

これらの Spring コンポーネントは、互いにどのように関連していますか? それぞれは概念的に何を表していますか? それらを一緒に使用しますか、それとも競合するプロジェクトですか?

• Spring クラウド データ フロー
• 春の雲の流れ
• スプリング クラウド タスク
• Spring Cloud タスク アプリ スターター
• 春のバッチ

私の理解では、SC タスクは実行する「作業単位」にすぎず、短命/タスクベースのマイクロサービスの形式の処理単位です。SC Data Flowは、タスクのオーケストレーションです。この 2 つがどのように関連し、概念的に何を表しているかは理解していますが、多くのドキュメントや例では、同じコンテキストで他のプロジェクトについて説明しています。

また、 SC タスクはSpring Batchの代わりになると思いましたが、いくつかの例では、Spring バッチが SC タスク内で実行されることを暗示しているようです。

Spring Cloud Data Flow for Yarn で単純なスプリング バッチ タスクを実行しようとしています。残念ながら、実行中に ResourceManager UI にエラー メッセージが表示されました。

Appmaster.stderror からの詳細情報は、次のように述べています。

Spring Cloud Data Flow に関しては、dataflow-shell で実行しようとしています。

このエラーが発生する理由を知るのは本当に難しいです。標準の HDFS ローカリゼーション (/dataflow) ではいくつかのファイル (servers.yml、ジョブとユーティリティを含む jar) がコピーされたが、何らかの方法でアクセスできないため、dataflow-server から yarn への接続は正常に機能すると確信しています。

私のservers.yml構成：

これを機能させるための情報や春の糸のヒントとコツを聞いてうれしいです.

PS: Hadoop 環境として、Amazon EMR 5.0 を使用しています。

編集: hdfs からの再帰パス:

File Source ストリーム コンポーネントを使用して、ディレクトリからファイルを読み取り、File インスタンスをカスタム プロセッサに送信します。カスタム プロセッサはファイルを読み取り、TaskLauncher シンクを使用して特定のタスクを起動します。ディレクトリに 5 つのファイルをドロップすると、5 つのタスクが同時に起動します。私が達成しようとしているのは、各タスクを次々に実行することです。そのため、タスクの状態を監視して、別のタスクを起動する前に前のタスクが完了していることを確認する必要があります。これを実装するためのオプションは何ですか? 補足として、これを Yarn クラスターで実行しています。

ありがとう、

-フランク

ローカル システム環境に Spring Cloud Data Flow を実装して、ストリームを処理し、日々のトランザクションのタスク ジョブを実行することを検討しています。PCF、Kubernetes、YARN、Mesos を使わずに、オーケストレーションにローカル サーバーを使用することを考えています。開発のみに使用することをお勧めします。本番環境で使用する際に問題や問題は発生しますか?

春のクラウド タスク アプリケーションで複数のデータソースを定義すると、例外がスローされます。これは私がデータソースを定義した方法です

上記のように TaskConfigurer を定義して @Primary を配置する提案を見てきましたが、どれも機能していません。この種の問題に直面した人はいますか?

ありがとう、ニール

分割されたバッチ ジョブの Spring Cloud Tasks Sample をセットアップして実行しようとしています ( https://github.com/spring-cloud/spring-cloud-task/tree/master/spring-cloud-task-samples/partitioned-batch -job ) (Spring Cloud Data Flow Server 内)。

しかし、何らかの理由で、分割されたジョブ タスクにエラーがあります。

このジョブのジョブ実行は既に実行中です: JobInstance: id=2、version=0、Job=[partitionedJob]

パーティション ジョブは Spring Cloud Dataflow サーバーと互換性がありませんか?

ここのサンプル(実際には - タイムスタンプ タスク) によると、小さなタスク クラスを実装しました。

次に、Properties クラスを作成しました (同じパッケージ内)。

しかし、ローカルの Spring Cloud Data Server にタスクを登録した後、自動的に追加されたと思われる多数のパラメーターが表示されます。私はそれらが次のようなパラメータを意味します:

その他...

それらを非表示 (または削除) して、タスクを起動するときに、自分が追加したパラメーター (上記の例では単一のホストプロパティ)のみを構成できるようにすることはできますか?

最新のPivotal Cloud Foundry、つまりバージョン 1.8を使用しています。

Runningcf feature-flagsは、タスクの作成が実際に有効になっていることを示します。

私の Spring アプリは最新のSpring Cloud Tasksライブラリ、つまりバージョン 1.1.0.RELEASE@EnableTaskを使用しており、タスクは注釈によって有効になっています。

ただし、cf pushアプリを実行すると、タスクではなく LRP (Long Running Process) として扱われたかのように再起動されます...

誰か助けてくれませんか？私は何が欠けていますか？

編集: PWS Cloud Foundry の最新バージョンは現在: 1.9ですが、私の質問は関連性があります。