私は最近 Chapel に出会ったので、ぜひ試してみたいと思っています。私はそれが解決できることを望んでいる2つの問題を抱えています。
私は通常、Python または C++ で作業します。追い詰められたジャバ。
私は2つの行列Iとを持っていVます。どちらもまばらで、約 600K x 600K のサイズで、約 1% の密度で配置されています。
まず、SciPy を使用して、現時点で SQL データベースからメモリに両方を読み込むことができます。ただし、次のイテレーションはマシンには大きすぎると予想しています。おそらく1.5M^2。そのような場合、Spark からの RDD は負荷に対して機能する可能性があります。これを実現するための PyTables を入手できませんでした。これは「アウトオブコア」の問題として説明されていることを理解しています。
ロードされたとしてもI'IV、数分で OOM になります。（I'これは転置です）ので、この乗算を複数のコア（SciPyで実行できます）と複数のマシン（私の知る限り、できません）に分散することを検討しています。ここで、スパークは倒れますが、いわばチャペルは私の祈りに応えてくれるようです。
重大な制限は、マシンの予算です。たとえば、私はクレイを買う余裕がありません。チャペル コミュニティには、このパターンがありますか?