問題タブ [mapreduce]

分散マップリデュースプログラミングシステムを使用するのに最も簡単なものは何ですか？

例えば。それぞれが多くの接続を持つ多くのユーザーを含む分散データストアで、接続の総数を数えたいと言います。

このようにプログラミングできるmapreduceシステムはありますか？

複数のreduce関数で分析する大規模なデータセットがあります。

すべてのreduceアルゴリズムは、同じmap関数によって生成された同じデータセットに対して機能します。大規模なデータセットを毎回読み取るにはコストがかかりすぎます。1 回だけ読み取って、マップされたデータを複数のreduce関数に渡す方がよいでしょう。

Hadoop でこれを行うことはできますか? 例とインターウェブを検索しましたが、解決策が見つかりませんでした。

計算言語学コースでプロジェクトを行う必要があります。Hadoop map reduce を使用して取り組むのに十分なデータ集約型の興味深い「言語的」問題はありますか。ソリューションまたはアルゴリズムは、「言語」ドメインでいくつかの洞察を試みて分析し、提供する必要があります。ただし、hadoop を使用できるように、大規模なデータセットに適用できるはずです。Hadoop 用の Python 自然言語処理ツールキットがあることは知っています。

興味深いのですが、MapReduce や Hadoop などでは、データのチャンクを独立して操作されるタスクにどのように分割するのでしょうか? タスク間の状態条件などと非常に相互に関連しているデータを持つことが一般的であることを考えると、それがどのようになるか想像するのに苦労しています.

Hadoop (Amazon Elastic mapreduce) を使用して、Web サーバーからのログを処理したいと考えています。私は助けを求めてグーグルで検索しましたが、何も役に立ちませんでした。これを行うことができるかどうか、またはこれを行う別の方法があるかどうかを知りたいです。

私は並列プログラミングを始めており、mapreduce やその他の分散アルゴリズムを研究しています。mapreduce を学ぶのが最善ですか、それとももっと役立つより一般的なアルゴリズムがありますか?

データベースまたは共有キー値ストアに対して mapreduce クエリを実行するのが効率的かどうか疑問に思っているので、これを尋ねています。

たとえば、インターネットをインデックス化し、さまざまな Web ページのすべての用語をカウントする Web トローラーを実装するには、バックエンドとしてデータベースを使用して効率的に実行できますか?

mapreduce を使用して Web サーバーを実装できますか?

サーバーが自由に処理できるようになるまで、リクエストが届いたときにリクエストがキューに置かれるようなことを考えていますか? それとも私はここでポイントを逃していますか？

MapReduceシステムを使用してWebページを提供することを検討していますが、ロードバランサーがWebページ要求の配布にすでに使用されていることを確認しました。マップリデュースシステム、たとえばHadoopがこれを実行できなかった理由はありますか？

ウィキペディアの歴史の目的のために、「恥ずかしいほど平行」というフレーズの起源に精通している人は誰でも. map-reduce に最初に取り組んだランダムな Google 従業員によって造られたのではないかとずっと思っていました。由来について具体的な情報を持っている人はいますか？