6

Map Reduce は、最近多くの注目を集めているパターンであり、イベント処理パイプライン (iPhone 加速度計と GPS データ) に焦点を当てた私のプロジェクトの 1 つに現れ始めています。このプロジェクトのために多くのインフラストラクチャを構築する必要がありました。私が構築したコンポーネントの一部は、EventProcessors (in-および outputbuffers、タイミングなどを使用)、EventListeners、Aggregators、およびステージングされたパイプラインです。

これにより、マップ削減に必要な「一般的な」インフラストラクチャとは何かという疑問が生じます。私は .Net を頻繁に使用しているため、Map Reduce インフラストラクチャがフレームワークと言語構造に組み込まれていることがわかります。関数型言語は、このパラダイム自体をサポートしています。すべての言語が map reduce で使用できるようです。その概念に基づいて構築された言語もあります(例: Go)。

Apache Hadoopは Map-Reduce を Java にもたらします。Google はmap-reduce フレームワークの特許を取得しています。マップ削減を可能にするために、どのようなインフラストラクチャを提供していますか? map reduce を実装するために関数型言語で示される構成要素は何ですか? map-reduce フレームワークが提供する必要がある/提供する必要があるものは何ですか?

4

3 に答える 3

2

Hadoop はGoogle ファイル システムに基づいています。Hadoop MapReduce の実装も、Google の論文に基づいています。Google と Hadoop の両方にとって、MapReduce が大量のデータを並行して正常に実行できるようにするコンポーネントは、分散ファイル システムです。

于 2010-03-18T00:02:48.250 に答える
1

私が理解しているように、Hadoop は通常、Hadoop 自体が動作するためのデータ分散メカニズムとして機能する HDFS および/または HBase インフラストラクチャに基づいています。

また、EC2 と Hadoop を使用して物事を簡単にする光沢のある Web フロントエンドである Amazon Elastic MapReduce もあります。この場合の「インフラストラクチャ」は EC2 と S3 です。

PS 辛辣なコメントで申し訳ありません:)

于 2010-03-17T09:57:11.777 に答える
0

.NET での作業に慣れているので、DryadLINQ を検討することをお勧めします。 http://research.microsoft.com/en-us/downloads/03960cab-bb92-4c5c-be23-ce51aee0792c/default.aspx

于 2010-03-23T09:51:59.143 に答える