私は Spring XD のドキュメントをかなり詳しく読んでいますが、Hadoop YARN に関して達成したい 2 つのことを実際に把握することはできません。
たぶん、それらはまだサポートされていないか、サポートされることはありません-おそらく、シナリオを無意味にする何かが欠けているためです...
- Hadoop YARN では、ApplicationMaster がコンテナを特定のホストに割り当てるように要求することができます。つまり、「ラック認識」です。これにより、HDFS 上のデータが格納されている場所の近くで処理を実行できます。
この種の機能は、ストリーム展開マニフェストで評価されたプロパティとして公開できますか?
同じコンテナーがストリーム内のすべてのモジュールに対して同じメッセージを処理する、分割されたストリームについて話しているわけではないことに注意してください。
一連のコンテナーに展開されたストリームの途中にモジュールの多くのインスタンスを配置したいと考えています。これらのコンテナーは、既存の大きな静的データのセグメントを保持することによっても機能します。コンテナの 1 つに保存されている関連する既存の大きなファイルに処理中の各メッセージをマッピングすることを含む、評価されたルールに基づいて、呼び出しごとに最適なモジュール インスタンスを選択したいと考えています。
- ストリームが展開されると、1 つのモジュールの展開を複数のコンテナーに動的に「スケールアウト」することは可能ですか? たとえば、ストリームがデプロイされると、ストリーム内の 1 つのモジュールがボトルネックであることが判明した場合、そのモジュールのインスタンスの数をより多くのコンテナーで動的に増やすことができますか?
ありがとうニック