問題タブ [starcluster]

Google Compute Engine で「恥ずかしいほど」並列ジョブをセットアップして実行する必要があります。これを容易にするツールを探しています。

EC2 では、MIT の Starcluster を使用してクラスターをセットアップし、ジョブを SGE に送信しました。

Google Compute Engine で利用できる同様のツールはまだありますか?

そうでない場合は、Condor Cluster を手動でセットアップしてジョブを実行します。バズ殺す。

SGE クラスターで並列の独立したシミュレーションを実行してきましたが、EC2 の使用に移行したいと考えています。StarCluster のドキュメントを見てきましたが、経験が浅いため、まだいくつか不足しています。

1) 私のコードは C で書かれており、GSL を使用しています。GSL を仮想マシンにインストールしてそこでコンパイルする必要がありますか、それともコードをプリコンパイルできますか? EC2 のこの正確な使用法をカバーするチュートリアルはありますか?

2) おそらく 10,000 CPU 時間のコードを実行する必要がありますが、これを多数の短いインスタンスまたは少数の長いジョブとして簡単に設定できます。これらの要件を考えると、EC2 は本当に最良の選択でしょうか? その場合、StarCluster は私のニーズに最適なインターフェイスですか?

どうもありがとう。

EC2 ubuntu 上の Starcluster が機能しなくなりました。意図的な構成の変更などを認識しておらず、多くの助けを見つけることができません。誰か提案があれば教えてください。クラスターを開始、終了、またはリストすることさえエラーになります。以下は、クラスターをリストしようとしたときに表示されるエラーです。

StarCluster と lateron BioCoductor AMI を使用して、AWS で R クラスターをセットアップしようとしています。目的は、雪を使用して複数のノードでいくつかの並列計算を実行することです。

しかし、Windows 7 64bit に StarCluster をインストールする最初の段階で既に行き詰まっています (おそらくその理由です)。

私がしたこと: ( http://star.mit.edu/cluster/docs/latest/installation.html )

1. Python 2.7.5 をインストールする
2. c:\Pyhton\Scripts ディレクトリを PATH に追加 (さらに再起動)
3. インストールされた setuptools 0.6rc11
4. pycrypto 2.3
5. c:\Python\Scripts で CMD プロンプトを開き、次を実行しました: easy_install StarCluster

ただし、エラーで終了します。正しいフォルダを使用していないようです

誰かアイデアはありますか？

starcluster コマンド put を使用して、ファイルを AWS クラスターに移動しています。問題は、ファイルをディレクトリに追加してからアップロードしたい場合、それらのファイルのリストを作成するか、すべてを再コピーする必要があることです。rsyncに似たものにしたいと思います。StarCluster でそれを行う方法はありますか?

私は sklearn グリッド検索の並列化に取り組んでおり、3 つのパラメーターをスイープしていますが、ipython.parallel で動作するようにプロジェクトをリファクタリングするのに問題があります。私の現在の考え方は、次のような単純な関数を作成することです。

• リッジパラメータを受け入れます
• モデルをトレーニングするためのデータセットをダウンロードします
• モデルをトレーニングし、スコアと結果のモデルを S3 に保存しますか?

これは、グリッド検索を並列化するアプローチとして理にかなっていますか?

その場合、ローカル マシンとリモート エンジンの間でコードを共有する方法はありますか?

たとえば、いくつかの異なるモジュールを含むソース ツリーがあります。

StarCluster を使用して、EC2 にクラスターをデプロイし、リッジ パラメーターで sklearn gridsearch を実行するプロセスを並列化したいと考えました。しかし、すべてのローカル モジュールをリモート エンジンと簡単に共有する方法が見つかりませんでした。これを行うためのパターンはありますか、またはどのように考えを再構築する必要がありますか?

私は小さな StarCluster を実行しており、それを使用して IPython Notebook を実行しています。ノートブックに書いているコードにエラーがあるたびに、ノートブックの出力の最後に次のエラー メッセージが追加されます。

それ以外は、問題なく動作しているようですが、なぜそれが起こっているのかわかりません/なぜそれがそうしているのかについて詳しく知る方法はありません

Amazon Elastic Compute 2でエラスティックStarclusterクラスターを作成および削除する GUI アプリケーションを開発しようとしています。これまでのところ、グラフィック アプリケーションからこれらのクラスターを作成して使用することができましたが、クラスターを削除しようとすると問題が発生します。以下は、(アプリケーションから) コンソールにコマンドを挿入するために使用した方法です。

問題は、アプリケーションで使用されているメソッドを使用して通過できないイエス/ノーの確認をシステムが要求することです。これまでのところ、次のことを試しました。

しかし、システムは応答を待ち続け、アプリケーションで導入されたコマンドを無視します。以下は、確認を要求する実際のアプリケーションのログです。

この件についての考えやアイデアをいただければ幸いです。適切な回答をする必要があると思われる場合は、遠慮なく追加情報をお尋ねください。