python - mincemeatpy と octopy の代替

Question

簡単に言えば、octopy と mincemeatpy は map-reduce (軽量) の Python 実装であり、クライアントはインストールを必要とせずにアドホックな方法でクラスターに参加できます (もちろん、Python を除く)。プロジェクトの詳細はOCTOPYとMincemeatpyです。

これらの問題は、データ全体をメモリ内に保持する必要があることです (中間のキーと値のペアを含む)。そのため、中程度のサイズのデータ​​であっても、メモリ不足の例外がスローされます。

私がそれらを使用している主な理由は次のとおりです。

1. パイソン。
2. クラスターのインストールは不要です。
3. プロトタイプを作成しただけで、準備ができたらアルゴリズムを直接移植できます。

だから私の質問は次のとおりです。同じものを処理するパッケージがありますが、インメモリだけではありません(中程度のサイズのデータ​​を処理できます)?

Answer 1

PyMapReduceを試してください。それはあなた自身のマシンで実行されますが、いくつかのプロセスで実行されるため、マスターノードアーキテクチャを構築する必要はなく、マップデータを一時ファイルに保存し、後でそれらを削減するように見えるDiskBasedRunnerなどのランナーがたくさんあります。