Hadoop を使用してプログラムを実装しています。私の質問は、Java のスペース不足の問題に対処する方法です。いくつかのプロパティ構成を xml ファイルに追加しましたが、機能しませんでした。レデューサーの数を増やしてもうまくいきません。私のプログラムでは、すべてのレデューサーが大きな疎行列全体を必要とするため、このロジックを変更することはできません。それでも、すべてのレデューサーは、列 ID をキーとして、列ベクトルを値として持つエントリを受け取ります。このジレンマから抜け出す方法はありますか?
PS:私は最初、レデューサーが列を 1 つずつ取得することを考えていましたが、それによってメモリ不足の問題が発生することはありません。しかし、そうではないようです。実際、私は論文に記載されているアルゴリズムを実装しようとしています。レデューサーのアルゴリズムを以下に示します。行 11 は私が言及した列であり、各レデューサーにはマトリックスのすべての列があります。
