問題タブ [spring-cloud-dataflow]

デフォルトの appdeployappmaster プロパティを変更するにはどうすればよいですか?

Spring DataFlow YARN を介してアプリケーションをデプロイしようとしているとき。アプリを登録し、ストリームを作成して、[デプロイ] ボタンをクリックしました。そうすると、次のエラーが表示されます。

[XNIO-2 task-2] WARN oscdscStreamDeploymentController - アプリのデプロイ時の例外 StreamAppDefinition [streamName=histo, name=my-app, registeredAppName=my-app, properties={spring.cloud.stream.bindings.input.destination=log , spring.cloud.stream.bindings.input.group=histo}]: java.util.concurrent.ExecutionException: org.springframework.yarn.YarnSystemException: 無効なホスト名: ローカル ホストは: (不明); 宛先ホスト: "null":8032; java.net.UnknownHostException; 詳細については 、 http ://wiki.apache.org/hadoop/UnknownHost を参照してください。ネストされた例外は java.net.UnknownHostException: Invalid host name: local host is: (unknown); 宛先ホスト: "null":8032; java.net.UnknownHostException; 詳細については、 http ://wiki.apache.org/hadoop/UnknownHost を参照してください。

ご覧のとおり、デプロイヤーは「Resource Manager」URI を見つけることができませんが、Spring DataFlow サーバーの起動時には十分に検出されます。したがって、展開時にのみ問題が発生します。

この問題を解決するには、どのプロパティを設定する必要がありますか? また、どこで設定しますか?

編集 1: Janne Valkealahti の回答に続いて、次のプロパティを に追加/dataflow/apps/stream/app/servers.ymlし、サーバーを再起動し、ストリームを再展開しようとしました。

私はまだまったく同じメッセージを受け取ります。

PS: 私は Ambari を使用していません。最初に手動でどのように動作するかを理解したいと思います。

編集 2:-Dspring.config.location DataFlow サーバーに VM 引数を 追加する問題を解決しました。指定された構成がデプロイヤに渡され、アプリケーションが効果的にデプロイされます。

それに対する答えを書きます。

ストリームをリモート YARN クラスターにデプロイすると、YARN UI から次のエラーが表示されます。

このファイルは Dataflow サーバー側に存在し、次のデータが含まれています。

私が理解していることから、このエラーは、構成ファイルにもアクセスしようとするデプロイ済みコンテナーから発生しています。私が理解できないのは、この構成ファイルがいつ YARN にコピーされるべきかということです?

それは明らかかもしれませんが、これを知らずにデバッグするのは非常に困難です。また、役立つ場合は、YARN ログを次に示します。

ここのサンプル(実際には - タイムスタンプ タスク) によると、小さなタスク クラスを実装しました。

次に、Properties クラスを作成しました (同じパッケージ内)。

しかし、ローカルの Spring Cloud Data Server にタスクを登録した後、自動的に追加されたと思われる多数のパラメーターが表示されます。私はそれらが次のようなパラメータを意味します:

その他...

それらを非表示 (または削除) して、タスクを起動するときに、自分が追加したパラメーター (上記の例では単一のホストプロパティ)のみを構成できるようにすることはできますか?

docker コンテナーに scdf をセットアップしようとしています。

すべてのコンテナが 1 つのネットワーク内にある

2 つのkafkaはポート2181によって公開されます

そして、カフカが飼育係に接続していると確信しています。(そうしないと正常に起動しません)

ただし、単純なストリームの作成中

アプリログstdout_0.logを表すファイルでこれらのログを取得しました。log

でstderr_1.log、私は持っています

最初のログは、私が使用localhost:0.0.0.0:2181していないZookeeper接続に使用していることを示しており、 kafkaの実際の IP アドレスを構成しました。

2番目のログには、接続のタイムアウトが10000であることが示されています.kafkaでは、接続タイムアウトを6000に設定しました

したがって、これらは kafka からのものではなく、scdfからのものです。

実際には、scdf linkの参照を調べると、このアーキテクチャでは動物園管理者が使用されていない (または直接使用されていない可能性がある)と書かれています。

これは私を混乱させました...これらのログがkafka からでも scdfからでもない場合、どこからのものですか?

scdfが Zookeeper を使用する場合、 zookeeperの接続を構成するにはどうすればよいですか?

アップデート

scdfがトピックを作成しようとしているときについて考えています。トピックの作成について私が知っていることから、 zookeeper接続を指定する必要があります。scdf はプロデューサーs またはコンシューマーs にlocalhostを使用してzookeeperに登録するため、scdfは実際にzookeeper を何らかの形で使用しています. しかし、これを構成する方法は？

Spring XDについては、すでにこの質問をしています。現在、Spring CDF に移行しようとしています。

このリンクを見つけて、そこでコードを再利用し、エンコードを変更しようとしました。

次のPOMを作成しました。

構成：

そして、この FactoryBean:

BerEncoding は単純な列挙型であり、TcpBerSourceProperties は非常に単純です。

これは正しいアプローチですか？

もしそうなら、どうすればこれを実行できますか？Spring Bootスタンドアロンアプリケーションとして実行するために言及されたリンクで見つけたtcpストリームアプリスターターのどこにも@SpringBootApplicationが表示されませんか?