問題タブ [starcluster]

starcluster を使用している場合、マスターノードへの SSH 接続時にポート番号を指定することはできますか? 例えば：

高度な統計データを処理し、長く複雑な計算を実行する Python アプリケーションで作業しています。

ユーザーが要求すると、非同期スレッドが作成され、計算が開始され、結果がデータベースに等間隔で保存されます。メイン スレッドと同様に、データベース内の変更を探し続け、結果でユーザーを更新します。

現在、AWS と連携する MIT の Starcluster を使用するよう求められています。マスター クラスターとスレーブ クラスターを作成しました。私の質問は、MPI4py を使用してノード (スレーブ) マシンで計算を実行し、マスターで他のすべてのことを実行する方法です。

私はコードを書いていませんが、負荷分散の意味でどのように機能するかを示す例を見つけました。

• https://gist.github.com/brantfaircloth/2379572

ノード マシンで特定の API を呼び出してノード マシンでタスクを実行する方法はありますか?

StarCluster の構成手順に従っていますが、StarCluster で使用する新しいユーザーを作成したいと考えています。私の質問は、StarCluster が動作するために必要な IAM 権限の最小セットは何ですか?

AmazonEC2FullAccessポリシーは必要ですか (これで示されます)、それともそれほど包括的でないポリシーはありますか。

スポット インスタンスで mapreduce ジョブを実行しようとしています。StarClusters とその Hadoop プラグインを使用してインスタンスを起動します。データをアップロードしてから HDFS に入れ、結果を HDFS からコピーして戻すことに問題はありません。私の質問は、データを s3 から直接ロードし、結果を s3 にプッシュする方法はありますか? (データを s3 から HDFS に手動でダウンロードし、結果を HDFS から s3 にプッシュしたくありません。バックグラウンドで行う方法はありますか)?

標準のMIT starcluster amiを使用しています

Freeimage ライブラリを Starcluster クラスタにインストールして、scikit-image モジュールで使用できるようにするにはどうすればよいですか?

Starcluster を使用して AWS にクラスターをセットアップし、Freeimage ライブラリで実行できる scikit-image モジュールを使用して .jp2 イメージをロードする必要があるスクリプトを実行したいと考えています。これを行うコマンドは次のとおり skimage.io.imread("path/to/image.jp2", plugin='freeimage)です。これは、自分のマシンで実行すると機能します。

Starcluster のドキュメントに示されているように、Starcluster 構成ファイルの Python パッケージ プラグインを使用して、クラスターに scikit-image をインストールしました。

また、ドキュメントの指示に従って、次のパッケージをクラスターにインストールしました

しかしskimage.io.imread("path/to/image.jp2", plugin='freeimage)、クラスターで実行すると、次のエラー メッセージが表示されます。

OS Xを使用しています。

Starcluster の既存のクラスターにノードを追加しようとすると、マスター ノードとセカンダリ ノードのどちらにいるかによって、一部のプラグインが失敗する場合があります。

プラグインに次のようなものがある場合:

でノードを追加するとき

前のフォームは機能しません。

では、マスター ノードとセカンダリ ノードのプラグインの操作を区別するにはどうすればよいでしょうか。

プラグイン内からマスターにいるかどうかを確認するにはどうすればよいですか? リストのインデックスで試しましたnodesが、うまくいきません。

Sun Grid Engine を使用してジョブを分散するクラスター (starcluster) で、numpy を使用して同じジョブを何度も繰り返し実行しています。各ノードには 2 つのコアがあります (AWS では c3.large)。たとえば、5 つのノードがあり、それぞれに 2 つのコアがあるとします。

numpy の行列演算は、一度に複数のコアを使用できます。私が見つけたのは、SGE が 10 個のジョブを一度に送信し、各ジョブがコアを使用することです。これにより、ジョブの実行時間が長くなります。htop を見ると、各コアの 2 つのジョブがリソースをめぐって争っているように見えます。

ノードごとに 1 つのジョブを分散するように qsub に指示するにはどうすればよいですか。ジョブを送信すると、一度に実行されるのは 10 個ではなく 5 個だけですか?

StarClusterと ipyparallelを使用してクラスターをセットアップしようとしています。次のコマンドを実行しようとすると、次のエラーが発生します。このようにスタックトレースが欠落しているPythonエラーを見たことはありません。

次のエラーが表示されます。

これのデバッグをどこから開始すればよいかさえわかりません。

エラーのトレースバックが実際にない理由を誰かが知っていると助かります。この種のトレースバックはこれまで見たことがありません。

マスターノードでの pip freeze からの出力は次のとおりです。

これは、唯一のスレーブ ノードからのピップ フリーズです。

クラスタ サイズが 200 ノードを超える場合に問題が発生した人はいますか? 試行するたびに、次のエラーが表示されます。

新しい c4 ec2 インスタンスをサポートしているため、starcluster 開発ブランチ0.95.6を使用しています。

以下は、個人情報の代わりに XXXX を使用した私の星団構成です。