cloud - openstack でのクラウド共有メモリ管理

Question

Python を使用して、サイズが 2TB のデータ分析を行います。ローカル マシンに十分なメモリがありません。openstack を使用してクラウドをセットアップし、クラスターにメモリを共有させることは可能ですか? 例はありますか？

Answer 1

いいえ、OpenStack ではできません。

あなたが説明しているのは、分散共有メモリシステムです。ScaleMP は、これを行うvSMPという製品を販売していると思います。歴史的に、偽共有と呼ばれる問題のため、分散共有メモリ システムから良好なパフォーマンスを得ることが非常に困難であったことに注意してください(これが ScaleMP にどの程度影響するかはわかりません。使用したことはありません)。

SGI UVのような、分散共有メモリをサポートするための専用ハードウェアを備えた、より高価なシステムを購入することもできます。

コードを変更して、Hadoop や MPI などを利用するのが最善の方法です。

Answer 2

そうですね、クラウド インスタンス内に実装できます。

基本的に、それぞれ大きな ramfs を持つ多くのインスタンスを作成できます。次に、多数のノード上のすべての ramfs を、openAFS、gluster、luster などのネットワーク分散ファイルシステムに配置します。

というアプローチになります。