0

現在、Matlabには、Javaでコーディングしようとしているアルゴリズムがいくつかあります。次のいずれかを使用してこれを行います(Colt、Apache Commons Math、jblas)。ただし、私はこれらのアルゴリズムの速度を本当に改善しようとしているので、これらのアルゴリズムを並列化してパフォーマンスを向上させるための提案、できれば既存の実装を探しています。

私の知る限り、Hadoopは行列演算を分散するための適切なオプションではありません。Mahoutも調べましたが、これがこの目的を達成するのに役立つかどうかはわかりません。

すべてのヒントと提案に感謝します。

4

1 に答える 1

0

Hadoopは「行列演算を分散するための適切なオプションではない」という情報をどこで入手していますか?それは確かに良いオプションですが、データが巨大である限り、少なくとも50GB以上のようになります。メモリに収めることができる場合、Hadoopは適切なオプションではありませんが、複数TBのデータで使用することを検討している場合は、Hadoopがその仕事に適したツールです。データの構造など、行列の乗算を最適化する際に考慮すべき点は他にもたくさんあります(スパースですか?クラスターで発生しますか?など)。

MapReduceでの行列乗算の実装に関するGoogleの情報はたくさんあります。このルートを選択した場合は、 JeffreyUllmanの本から始めるのがよいでしょう。

于 2012-09-25T23:38:06.817 に答える