問題タブ [spring-cloud-dataflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-kafka - Kubernetes での Spring Cloud Data Flow のセットアップ
Spring Cloud Data Flow のインスタンスを自分でマスター サーバーにインストールする必要がありますか? それとも、展開の一部として "自動的に" インストールされますか?
これはhttp://docs.spring.io/spring-cloud-dataflow-server-kubernetes/docs/current-SNAPSHOT/reference/htmlsingle/#_deploying_streams_on_kubernetesの説明からは明確ではありません
MySQLのすべての構成を削除しましたが、ガイドに従いました。たぶんこれが必要です。外部IPを割り当てていないだけなので、多少行き詰まっていますが、その理由、デバッグ方法、および必要なコンポーネントのインストールを逃したかどうかがわかりません。
編集：明確にするために、実行すると scdf サービスエントリが表示されます
ただし、このサービスは外部 IP を取得しません。
spring-cloud-dataflow - Spring Cloud Data Flow で Spring Cloud Task の分割ジョブを実行できますか?
分割されたバッチ ジョブの Spring Cloud Tasks Sample をセットアップして実行しようとしています ( https://github.com/spring-cloud/spring-cloud-task/tree/master/spring-cloud-task-samples/partitioned-batch -job ) (Spring Cloud Data Flow Server 内)。
しかし、何らかの理由で、分割されたジョブ タスクにエラーがあります。
このジョブのジョブ実行は既に実行中です: JobInstance: id=2、version=0、Job=[partitionedJob]
パーティション ジョブは Spring Cloud Dataflow サーバーと互換性がありませんか?
spring-cloud-dataflow - Spring Cloud DataFlow Rabbit Source: Source でメッセージをインターセプトして強化する方法
通常は単純なフローで Spring Cloud DataFlow の評価に成功しています。プロセッサ | シンク。
デプロイには、データ フロー ラベルを使用して実行できる、このパイプラインにフィードする複数のソースがあります。すべて順調です。
各ソースは異なる rabbitmq インスタンスであり、プロセッサはメッセージの送信元を知る必要があるため (詳細情報を取得するにはソース システムにコールバックする必要があるため)、私が考えた戦略は、各メッセージをヘッダーで強化することでした。ソースシステムに関する詳細は、プロセッサに透過的に渡されます。
今、私はSpring、Spring Boot、およびSpring Integrationに精通していますが、データフローソースコンポーネントの各メッセージを充実させる方法を見つけることができません.
ソース コンポーネントは org.springframework.cloud.stream.app.rabbit.source.RabbitSourceConfiguration にバインドされます。ソースは、デフォルトの Source.OUTPUT チャネルを使用します。ソース内の各メッセージを取得して充実させるにはどうすればよいですか?
私のプロセッサ コンポーネントは、Spring Integration DSL を使用して必要なことの一部を実行しますが、このプロセッサ コンポーネントには定義上、INPUT チャネルと OUTPUT チャネルの両方があります。RabbitSourceConfiguration ソースではそうではありません。
それで、これはできますか？
spring - spring クラウド データフロー ソース ファイル | gpfdist 速度をシンクしますか?
誰かがこれらを手伝ってくれませんか。greenplum データベースに挿入する必要がある約 500Mb-1Gb の非常に大きなファイル (5 列の csv 形式) を取得しました。ソースファイルを使用してオプション --mode=lines でこれらのファイルを読み取り、gpfdist をシンクしてこれらのデータを greenplum にインポートしますが、この操作の速度は非常に遅くなります。どうすればこれを調整できますか?? 私はオプションのバッチカウント、フラッシュカウント、フラッシュタイム、バッチタイムなどを変更しようとしましたが、うまくいきませんでした。gpload を使用すると、ファイル ~800Mb を挿入するのに ~20 ～ 30 秒しかかかりません。
file --directory=/data --filename-pattern=*.csv --mode=lines --prevent-duplicates=false --markers-json=false | gpfdist --db-user=**** --db-name=**** --column-delimiter=, --mode=insert --gpfdist-port=8000 --db-password=**** --db-host=**** --table=test --flush-count=200 --batch-count=1000000 --batch-period=2
tnx