hadoop - 「ストーム」データ処理機能

Question

1 日あたり最小 "2 ～ 3 テラバイト" のデータを処理する必要があるビジネス ユース ケースでは、"Hadoop & Storm" に関する分析を行っていました。

言うまでもなく、「Storm」は受信するビッグデータを処理する効率が優れているため印象的ですが、「Storm」が「テラバイト」のデータを処理するのに十分な能力を持ち、同時にリアルタイムの結果を提供できるかどうかはわかりません。いいえ ？

誰か説明してくれませんか？

ありがとう、ガジェンドラ

Answer 1

ストームはツイッターで開発されました。1日あたり8TB以上を処理します。このような音はあなたの場合には十分なはずです。Afaik stormは、分散コンピューティングに最適なストリーミング/リアルタイムシステムです。Hadoopは、ジョブの起動時間とストリーミングデータのネイティブ処理ではないため、適切ではありません。

実際には、サーバーの電力やストレージなどが十分にある場合は、どちらも1日あたりのデータを処理できます。