問題タブ [ipython-parallel]

ipython 並列ライブラリから並列計算を使用しようとしています。しかし、私はそれについてほとんど知識がなく、並列コンピューティングについて何も知らない人からドキュメントを読むのは難しいと思います.

おかしなことに、私が見つけたすべてのチュートリアルは、私の観点からは役に立たない同じ説明で、ドキュメントの例を再利用しているだけです.

基本的に私がやりたいことは、バックグラウンドでいくつかのスクリプトを実行して、それらが同時に実行されるようにすることです。bash では次のようになります。

しかし、Ipython ノートブックの bash インタープリターはバックグラウンド モードを処理しません。

解決策は、ipython の並列ライブラリを使用することだったようです。

私は試した ：

しかし、私は立ち往生しています。同じスクリプトまたは pgm を同時に 2 回 (またはそれ以上) 実行する方法がわかりません。

ありがとう。

要求したすべての ipengine を ipcluster で開始するのに苦労しています。ある種のタイムアウトの問題のようです。192 個のプロセッサを搭載した Linux クラスターで IPython 2.0 を使用しています。ローカルの ipcontroller を実行し、SSH を使用して 12 個のノードで ipengines を開始します。これは構成の問題ではありません (少なくとも私はそうは思いません)。約 110 個の ipengine を実行しても問題はありません。より多くの量を試してみると、起動中にそれらのいくつかが死んでいるように見えます. ipcluster は、すべてのエンジンが開始したことを報告します。私が見つけることができる唯一の問題の兆候 (要求されたすべてのエンジンを使用していないことを除く) は、いくつかの ipengine ログで次のとおりです。

私はいくつかの知恵を見つけることができるかどうかを確認するためにいくつかのグーグルを行いました. 作者はそれが一種のタイムアウトだと考えているようです。

また、IPClusterStart.early_shutdown と IPClusterEngines.early_shutdown の時間を 3 倍 (デフォルトの 30 秒ではなく 90 秒) にしてみましたが、うまくいきませんでした。

事前に、クラスターを最大限に活用するためのヒントをありがとうございます。

だから私はこのような基本的な構造を持ついくつかのコードを書きました：

dview.execute 部分の出力は

ただし、結果を取得しようとしたときに実行されることを意味します

それが示している：

誰かが私のコードの何が問題なのか教えてもらえますか?? どうもありがとう！

現在、AWS が 1 つ以上のスポット インスタンス ノードをシャットダウンすると、 ipcluster プラグインは何をしますか? これらのノードを再起動して IPython クラスターに再度追加するメカニズムはありますか?

Ipython でクラスターモードを使用する場合、マスターはノードマシンまたはプロセスの停止をどのように処理しますか?

具体的には、非同期適用を行って一部のマシンが停止した場合、これを検出して警告するメカニズムはありますか (警告とは、結果オブジェクトでポーリングできるものがあることを意味します)?

これらのジョブを再送信するメカニズムはありますか?

IPython.parallel を使用しているときに、リモート カーネルを強制的に再起動するにはどうすればよいですか?

たとえば、通常の IPython ノートブックでは、ツールバーから直接カーネルを再起動できます。私の質問は、リモート カーネルがある場合、同じ操作を強制するにはどうすればよいですか?

ipython のいくつかの機能をテストしていますが、何か間違っていると思います。

数学演算を実行する 3 つの異なる方法をテストしています。

• 1回目の使用@parallel.parallel(view=dview, block=True)と機能map
• 2つ目はシングルコア機能（pythonの通常機能）を使う
• 3番目にクライアントの負荷分散機能を使用

私はこのコードを持っています:

私の結果は次のとおりです。

マルチコア ルーチンがシングル コア ルーチンより遅いのはなぜですか? このアプローチの何が問題なのですか? 修正するにはどうすればよいですか?

いくつかの情報: python3.4.1、ipython 2.2.0、numpy 1.9.0、LocalEngineSetLauncher で 8 つのエンジンを起動する ipcluster

MPI 機能を備えた IPython クラスターを開始しようとして非常に苦労しています。まず、MPI と MPI4py がインストールされており、動作しています。ipython内からmpi pythonコードを実行する方法をついに見つけました。ただし、IPython ノートブックで動作する mpi プロファイルを取得しようとしていて、途方に暮れています。私はすべてのドキュメントを読み、このテーマに関する講義をたくさん見ましたが、誰かがしていることを再現しようとするたびに、常にエラーが発生します。わかりましたので、bashプロンプトから入力すると:

ノートブックに移動して、そのクラスターを確認できます。次に、アクション開始ボタンを押して開始すると、起動します。しかし、そうすると：

私は得る：

さらに私がする場合：

rc=parallel.Client() 行を指すエラーが発生します。したがって、これらは両方ともデフォルトのクラスターで正常に機能します...また、試しました

bashプロンプトから、そこからクラスターを開始しようとすると、いつでもプロンプトが返されません。GUIボタンでprofile = mpiを開始した後にノートブックからこれを配置すると、次のようになります。

別のエラーが表示されます。この 2 日間シミュレーションを実行できるように、このことを実行しようとしてきましたが、これを行う方法を誰も知らない学校にいます。誰か助けてください