0

BigData を使用してダッシュボードを作成しようとしています。データは現在 SQLServer で処理され、フロント エンドは MVC にあります。SQLServer 自体を使用して分析するにはデータ フローが非常に高いため、BigData を使用することにしました。Cloudera Manager CDH、SQOOP を選択して SQLServer から HIVE にデータをインポートし、IMPALA を使用して分析を実行しました。クライアントにモバイル プラットフォームでチャートを提供するために、Microstrategy で結果をアップすることにしました。プロセスを改善するためのアイデアや提案を歓迎しますか?

4

2 に答える 2

1

素晴らしいスタートを切ったようです。分析は、Impala だけでなく、さまざまなツールで実行できることを忘れないでください。

Hadoop を使用すると、Hive と Pig が多くの機能を提供し (UDFS でより利用可能になります)、簡単に習得できます。

最終的にいくつかの反復的なユースケースを実行したい (そして機械学習を活用したい) 場合は、MapReduce によって制約されない Spark (これらの 2 つの機能はその操舵室にあります) をチェックアウトすることをお勧めします。

利用可能な優れたツールがたくさんあります。よい旅路を。

于 2016-03-25T19:34:39.033 に答える
1

2段階の使用を検討します。データ分析とデータ視覚化。2 つの段階を使用すると、ソリューションがより柔軟になり、責任が分離されます。

データ分析

  • データを取り込みます (クリーニングを含む)。Sqoop は取り込みステップを実行できますが、データをクリーニングするために追加のステップが必要になる場合があります。
  • データを探索/分析します。Apache Spark は非常に柔軟で強力なツールです。
  • 解析結果を指定フォーマットで保存

データの可視化

  • データ分析フェーズからデータをロードする
  • それを視覚化します。Highcharts/Kibana/Dashing の使用。または、D3 を使用してカスタマイズされたダッシュボードを作成します。
于 2016-07-03T22:09:03.627 に答える