100 を超える多数の HTTP エンドポイントからデータをプル/ストリーミングするユース ケースがあります。
私は ning 非同期クライアント http ライブラリを使用して最大 30 以上のクライアント要求を管理できるスタンドアロンの Java アプリを持っていますが、これをスケールアップしてさらに多くの処理を行う方法についていくつかのアイデアを探していました。
ユース ケースは、ストーム トポロジによる処理のためにエンド ポイントからデータをプルし、それらを kafka キュー (jms キューに類似) にプッシュすることです。私が立ち往生しているビットは、最初に http エンドポイント データを Kafka キューに効率的に取得する方法です。
ありがとう