問題タブ [spring-cloud-dataflow]

Kubernetes クラスターで Spring Cloud Dataflow を使用してストリームの一部としてデプロイするアプリがあります。アプリの Docker イメージにはVOLUME命令が含まれており、ボリュームをマウントするホスト上のディレクトリを指定したいと考えています。(これは、クラスター内のすべてのホストがアクセスできるネットワーク接続ストレージです。)

には何も表示されませんでしたKubernetesDeployerProperties。

これは可能ですか？

社内のクラウド ファウンドリ インスタンスに Stream アプリケーションをデプロイする必要があります。ストリームにはメッセージのソースとして RabbitMq キューがあり、PC でローカルに実行するために以下のように定義されています。

stream create myMessageStream --definition "rabbit --rabbit.queues=cloud-stream-source --rabbit.requeue=true --spring.rabbitmq.host=localhost --spring.rabbitmq.port=5672 --spring.cloud.stream.bindings.output.contentType='text/plain' | task-processor --uri=maven://...

このアプリケーションは PC 上ではスムーズに動作しますが、PCF 上の PaaS プラットフォームにセットアップしようとすると、ストリームのソースを定義する方法がわかりません。

RabbitMq サービスは PaaS で作成され、ストリームとバインドするだけで実現できますが、その方法がわかりません。

SCDF の Spring Docsから Cloud Foundry に対してそれを行うための手順に従っていますが、この段階で立ち往生しています。

やり方わかる方教えてください。

Spring Cloud Data Flow for Yarn で単純なスプリング バッチ タスクを実行しようとしています。残念ながら、実行中に ResourceManager UI にエラー メッセージが表示されました。

Appmaster.stderror からの詳細情報は、次のように述べています。

Spring Cloud Data Flow に関しては、dataflow-shell で実行しようとしています。

このエラーが発生する理由を知るのは本当に難しいです。標準の HDFS ローカリゼーション (/dataflow) ではいくつかのファイル (servers.yml、ジョブとユーティリティを含む jar) がコピーされたが、何らかの方法でアクセスできないため、dataflow-server から yarn への接続は正常に機能すると確信しています。

私のservers.yml構成：

これを機能させるための情報や春の糸のヒントとコツを聞いてうれしいです.

PS: Hadoop 環境として、Amazon EMR 5.0 を使用しています。

編集: hdfs からの再帰パス:

このユース ケースでは、メッセージ ストリーム アプリケーションを作成し、プライベート Cloud Foundry 環境にデプロイする必要があります。ストリーム アプリケーションは、ストリームで定義されているように、RabbitMq キューをリッスンし、タスクをトリガーすることを目的としています。

同じことを実現するために、cloud-dataflow-server-cloudfoundryMac でローカルに実行して使用します。

以下は、それを達成するために使用されるコマンドのセットです:-

• Maven リモート リポジトリを設定する export MAVEN_REMOTE_REPOSITORIES_REPO1_URL=https://ftl.abc.com/NEXUS

• Cloud Foundry 宛先のセットアップ -

  /li>

• Dataflow サーバーの起動 -

  1. Spring Cloud プロパティを使用してDataflow Server CFを次のようにビルドします。

     • spring.name=データフロー
     • spring.cloud.config.uri= http://localhost:8888
     • spring.cloud.dataflow.features.tasksEnabled=true
     • spring.cloud.dataflow.features.streamsEnabled=true
     • spring.cloud.deployer.cloudfoundry.task.taskTimeout=360

  2. DF サーバー CF をローカルで開始します -java -Djavax.net.ssl.trustStore=/Users/apache-maven-3.3.9/conf/keystore.jks -Djavax.net.ssl.trustStorePassword=password -jar spring-cloud-dataflow-server-cloudfoundry-1.1.0.BUILD-SNAPSHOT.jar

• DFシェルを起動
• スターター アプリのインポート -stream-applications-rabbit-maven
• アプリを登録する -
  1. app register --name task-processor --type processor --uri maven://org.springframework.cloud.stream.app:tasklaunchrequest-transform-processor-rabbit:jar:1.1.0.BUILD-SNAPSHOT
  2. app register --name task-launcher-local --type sink --uri maven://org.springframework.cloud.stream.app:task-launcher-local-sink-rabbit:jar:1.0.4.RELEASE
• ストリームの作成と展開 - stream create myMessageStream --definition "rabbit --rabbit.queues=cloud-stream-source --rabbit.requeue=true --spring.rabbitmq.host=host.abc.com --spring.rabbitmq.port=5672 --spring.cloud.stream.bindings.output.contentType='text/plain' | task-processor --uri=maven://com.example:thumbnail-generator:0.0.1-SNAPSHOT | task-launcher-local" --deploy

ただし、デプロイはTimeoutExceptionで失敗しますが、Dataflow サーバー ログまたはアプリケーションのログに明確な理由はありません。

Cloud Foundry スペースで作成されたアプリケーションは、すべてCF コンソールでStoppedと表示されます。

これは私に無知を残しました。考えられる根本原因を理解するために、これについていくつか質問があります。

1. Stream の展開が成功した場合、Stream によって CF に展開されたアプリケーションのステータスはどうなりますか? これらは開始済みまたは停止済みとして表示されますか?
2. デプロイされたアプリケーションの名前には、dataflow-nonvaluable-overapprehension-myMessageStream-rabbit などのランダムな単語がいくつか埋め込まれています。私の理解では、これは Dataflow Server インスタンスに付けられた名前であり、参照を作成するために挿入されています。この名前をカスタマイズする方法はありますか? これにより、事前にアプリケーションの名前を知ることができ、それらのログを追跡することができます。

任意の考え/助けをいただければ幸いです。

ローカル システム環境に Spring Cloud Data Flow を実装して、ストリームを処理し、日々のトランザクションのタスク ジョブを実行することを検討しています。PCF、Kubernetes、YARN、Mesos を使わずに、オーケストレーションにローカル サーバーを使用することを考えています。開発のみに使用することをお勧めします。本番環境で使用する際に問題や問題は発生しますか?

フェールオーバー用に SCDF サーバーをセットアップするためのベスト プラクティスは何ですか? 私はSCDFサーバー自体について話しています。SCDF で展開するストリームとタスクではありません。Kubernetes をランタイムとして使用する予定です。

私はSpring Cloud Streamスターターでパイプラインを構築しており、httpclientプロセッサーはそのステップの1つです。私の要件は、リモート http サーバーを呼び出して 、元のメッセージを応答で強化することです。問題は、httpclientプロセッサが元のメッセージから属性を伝播することを許可せず、返信本文に基づいてメッセージ式を評価することしか許可しないことです。

の前にいくつかの属性をメッセージ ヘッダーに格納するように提案されましhttpclientたが、MessageHeaders is immutable例外が発生しました。

したがって、基本的に、httpclient元のメッセージから必要な属性が不足しているため、パイプラインを続行できません。

githubの詳細な議論を参照してください

お知らせ下さい。
ありがとう

HDFS Fuse ファイル システム ドライバーを最適に使用して、Spring Cloud Data Flow の実行準備と展開準備が整ったイメージを探しています。できれば例とドキュメントを使用してください。

すでにいくつかのチュートリアルを探しましたが、考慮すべき手順と構成オプションが非常に多いため、既存のイメージ/例から始めて、自分のニーズに部分的に適合し、そこから最初の手順を実行したいと考えています。

どのようなオプションがありますか?