問題タブ [mincemeat]

mincemeat.py という map reduce の実装を使用しています。map 関数と reduce 関数が含まれています。最初に、私が達成しようとしていることを述べます。プログラミングの課題があるビッグデータのコーセラコースを行っています。問題は、paperid:::author1::author2::author3:::papertitle という形式のデータを含むファイルが何百もあるということです。

私たちはすべてのファイルを調べて、特定の著者のために、彼が最大限に使用した言葉を与えなければなりません。そのため、次のコードを書きました。

私の問題は、すべての著者について、reduce関数が著者名と彼のタイトルで使用したすべての単語を受け取る必要があることです。だから私は次のような出力を期待していました

しかし、私が得るのは

誰かがなぜそのようなことが起こっているのか教えてもらえますか? 質問を解決するのに助けは必要ありません。なぜそのようなことが起こっているのかを知るために助けが必要です!

私はpythonが初めてで、マップに取り組んでいるとミンスミートの問題が軽減されます。mincemeat スクリプトの実行中に次のエラーが発生します。

私のコードは、上記のスタックトレースで として与えられている raw1.py スクリプトにあります[raw1.py|mapfn|43]。

私はすでにreraw1.py にインポートしています。remincemeat.pyにインポートすると、エラーは表示されません。

https://github.com/michaelfairley/mincemeatpy/zipball/v0.1.2から例を含む mincemeat.py をダウンロードしました

example.py は次のとおりです。

ワードカウントプログラムに使用されます。

ネットワーク内の 2 台のコンピューターを LAN で接続しました。サーバーとして 1 台のコンピューターを使用し、その上で example.py を実行しました。クライアントとしての 2 台目のコンピューターで、次のコマンド ライン ステートメントを使用して mincemeat.py を実行しました。

それは正常に動作します。

現在、ルーターを介してLAN内の3台のコンピューターを接続しています。次に、1 台のマシンがサーバーとして機能し、その上で example.py を実行し、残りの 2 台のマシンをクライアント マシンとして実行します。

タスクを 2 台のクライアント マシンに分散したいと考えています。では、map と reduce のタスクを 2 台のコンピューターに分散するプロセスはどのようなものでしょうか。example.py で定義されたタスクを、それぞれ固有の IP を持つ 2 つのクライアント コンピューターに分散するにはどうすればよいですか?

map-reduce に関する宿題を書こうとしています。私は端末で実行します：

次に、別の端末で：

以前の端末ですぐに、一連のものが入力されます。

hw3.py のコード:

スレッドPython、Asyncore、および forksで、次の提案が行われました。

accept() が None を返すとすぐに戻るように handle_accept() を変更します。

ファイル mincemeat.py には次の関数があります。

私の問題の解決策は、その機能の何かを変更することですか?

Python では、mincemeat map-reduce フレームワークを使用しています。

私のマップ関数からyield (k,v)、出力をreduce関数に送信するループにしたいと思います（私のマップ関数の出力であるサンプルデータが与えられました）

そのようなエントリはたくさんあります。これはほんの一例です。

ここで、auth3とauth34はキーで、それぞれの値は辞書項目です

キー、値を出力しようとするとreduce関数内で、「展開するには値が多すぎます」というエラーが発生します。私のreduce関数は次のようになります

このエラーを解決する方法を教えてください。

map-reduce の概念を理解しようとしており、Python 用のオープン ソース ライブラリである mincemeat.py を使用して小さなプログラムを実装することを検討しています。

マッパーとリデューサーを使用して、単語の袋の単純な単語数を取得しました。ただし、ドキュメント全体のすべての単語の tf-idf スコアを見つけることを実装したいと思います。これを達成するために、私が考えた最初のステップは、タイプの辞書を取得すること{[word,docID]->count}です。このために、私は次のコードを書きました

ただし、プログラムを実行すると、次のエラーが発生します。

私が理解しているのは、mincemeat.py を使用するとマップ内のリストを生成できないということです。これは、縮小中にリストが予期されていないというエラーが表示されるためです。私は正しいですか？私が正しければ、これを達成する方法はありますか? または、ミンスミート以外のライブラリを調べる必要がありますか?

単語を数える条件を付けて、約7500個のファイルから単語数を計算したいだけです。プログラムはこのようになります。

このプログラムの実行中に発生するエラーは

コードは次のとおりです。

このコードは、複数のファイルの単語数を計算することになっています。しかし、それはエラーを返し続けます:

私が取り組んでいる入力ファイルは次のようになります。ここで、単語を追加し、別のファイルでそれらの横にある数字を合計したいと思います。

に置き換えre.splitた後line.split()、このエラーが発生しました。