問題タブ [ipython-parallel]

以前に MPI (および Fortran :)) を介して並列計算を使用したことがあります。IPython の並列機能を使用したいと思います。

私の質問は、 http://ipython.org/ipython-doc/dev/parallel/asyncresult.htmlに触発された、次のコードのパフォーマンスの低下に関連しています。

1 つのプロセッサの結果は次のとおりです。

結果が正常に見えるかどうか教えていただけますか? もしそうなら、なぜ計算時間にこれほど大きな違いがあるのでしょうか?

よろしく、フラビエン。

これは私の最初の試みIPython.parallelですので、ご容赦ください。

この質問 Parfor for Pythonを読みまし たが、次のように簡単な例を実装するのに問題があります。

私が抱えている問題は次のとおりです。

1. aループの外側で定義されており、「プッシュ」のようなことをする必要があると思いますが、少し混乱しています。後で「プル」する必要がありますか？
2. 関数に必要な 2 つの引数があり、それらを正しく渡す方法がわかりません。のようなことを試しzip(ii,jj)ましたが、いくつかのエラーが発生しました。
3. また、ランダムなライブラリを使用しているという事実は、gmpy2物事に影響を与えるべきではないと思います。これは正しいです？これには何か特別なことをする必要がありますか?

理想的には、この単純な例でコードがエラーなしで実行されるように、あなたの助けが必要です。

失敗した試行を #2 に投稿することが有益だと思われる場合は、お知らせください。私は＃1と暗闇の中にいます。

ipythonで見つけたすべての例で：

負荷分散ビュー ブロックを使用している場合は False に設定されているようです。

なぜだろう？

また、それをTrueに設定することは可能ですか?それにはどのような意味がありますか?

これは基本的な質問かもしれませんが、初心者として満足のいく答えを見つけることができませんでした.

助けに感謝します

IPython の並列ドキュメントには次のように記載されています。

また

ローカル ipengine (IIUC) および

私のipengineが別のサーバーにある場合。

しかし、SSH 経由で接続されたローカル ノードから 8 つの ipengine を管理し、リモート ノードから 8 つの ipengine を管理するために、IPython パラレル コントローラーを使用するにはどうすればよいでしょうか。

それとも、本格的な HDFS、Hadoop などに移行しないと、それは不可能ですか?

私の目標は、負荷分散された方法で一連の計算を送信できる 1 つのクライアント (またはコントローラー?) インターフェイスを持つことです。そこでは、いつどこで何が実行されるかは気にしません。

分散計算を行う方法に関するチュートリアルを見ました。

チュートリアルで直接ビューを使用するのはなぜですか? 負荷分散されたビューでこれをどのように実装しますか?

これがどれだけうまく機能するかを理解するために、いくつかのベンチマークを行いました。

結果はかなりひどいです (青はパラレル、緑はシリアル):

誰かが私を理解するのを手伝ってくれることを願っています。iPython ノートブックで 2 つの異なる並列ビューを作成しようとしています。最初のビューには ID 0 のプロセッサがあり、2 番目のビューには残りのすべてのプロセッサがあります。各ビューにプレフィックスを関連付けて、さまざまなプロセッサでさまざまなことを簡単に実行できるようにします。

2 番目のビューのプロセッサを使用して長い計算を行うバックグラウンド スレッドを起動します。それがバックグラウンドで実行されている間に、最初のビューを使用してコマンドを実行しようとしましたが、機能しません。次のエラーが表示されます: ValueError: '' is not in list.

ここでやろうとしていることを実行する方法があるかどうか、またはこれがサポートされていない動作であるかどうか疑問に思っています。つまり、異なるプロセッサを使用して 2 つの異なるビューを作成したいと考えています。ビュー間でプロセッサが共有されることはありません。次に、1 つのビューを使用するバックグラウンド タスクを実行しながら、同時に他のビューを無関係なタスクに使用できるようにしたいと考えています。

エラーが発生する小さなスクリプトの例を次に示します。ノートブックを直接投稿する方法がわからないので、ノートブックから生成された python スクリプトをコピーして貼り付けただけです。

forFunc() が実行されるとすぐに、エラーが発生します。

何かご意見は？誰でもアイデアをいただければ幸いです。

これはこれに関連する質問です：

https://stackoverflow.com/questions/27596463/why-do-i-get-a-cannedarray-object-has-no-attribute-pickled-in-ipython-gather

違いは、今はuse_dillipython で並列にしようとしていて、データを取得しようとするとエラーが発生することです。pushデータが編集されたかどうかはわかりません。

私が得るエラーは次のとおりです。

何が起こっているのかわかりません。どんな助けも大歓迎です。

さらに情報が必要な場合はお知らせください。追加します。

ありがとうございました