私が知る限り、Storm は Twitter のツイートを分析して流行のトピックを取得するために使用されていますが、政府の国勢調査のデータを分析するために使用できるのでしょうか? また、データは構造化されているため、Storm はそれに適していますか?
2 に答える
0
Storm は通常、ログ、Twitter ストリーム、または私の場合は Web クローラーの出力など、終わりのないデータ ストリームを処理するために使用されます。
国勢調査タイプのデータは、ストリームとして扱うことができる固定レポートの形式になると思いますが、Hadoop を使用して、Map Reduce などを介して処理する方が適していると思います (おそらく詳細）。
データの構造化された性質は、これらのテクノロジーの使用を妨げるものではなく、解決しようとしている問題により関連しています。
于 2014-07-06T20:04:46.110 に答える
0
Storm は、データが継続的に送信されるストリーミング データ処理用に設計されています。アプリケーションには、処理に必要なすべてのデータが用意されているため、バッチ処理の方が適しています。データが構造化されている場合は、R やその他の分析ツールを使用するか、スクリプトを記述してデータを変換し、R に入力できるようにすることができます。それが巨大なデータセットであり、それをより速く処理したい場合にのみ、Hadoop に取り掛かり、必要な分析に従ってプログラムを作成することを考えてください。アーキテクチャの提案は、データ サイズに関する詳細と、どのような分析を行うことを楽しみにしているかを提供する場合にのみ可能です。データセットが小さい場合、解決しなければならない問題に対して Hadoop と Storm の両方が過剰になる可能性があります。--gtaank
于 2014-07-06T23:42:33.107 に答える