1

私はプロトタイプのLambda システムを開発しており、私のデータは Flume 経由で HDFS にストリーミングされています。また、Storm にデータを取得する必要があります。Flume はプッシュ システムで、Storm はよりプルなので、スパウトを Flume に接続しようとするのは賢明ではないと思いますが、2 つの間にメッセージ キューが必要だと思います。繰り返しますが、これはプロトタイプなので、完璧ではなく、ベスト プラクティスを探しています。AMQP 準拠のキューを Flume シンクとして配置し、スパウトからメッセージをプルすることを考えています。

これは良いアプローチですか？もしそうなら、Flume の世界 (シンクとして) と Storm の世界 (スパウトとして) の両方で比較的堅牢なサポートを提供するメッセージ キューを使用したいと考えています。AMQP に移行すると、使用したい AMQP 準拠のキューを使用するオプションが与えられると思いますよね? ありがとう。

4

3 に答える 3

0

最初にデータをブローカー トピックにストリーミングできます。その後、フルームとストームスパウトの両方がそのトピックから消費できます。Flume には、メッセージ ブローカーから簡単に使用できるようにする jms ソースがあります。そして、メッセージをストームに入れるためのストーム jms スパウト。

于 2013-07-08T19:22:04.413 に答える
0

AMQP を使用する場合は、AMQP 仕様の最終版 1.0 に固執することをお勧めします。そうしないと、以前のバージョンからアップグレードしようとすると、多少の苦痛を感じるでしょう。

于 2013-07-04T14:47:11.577 に答える