問題タブ [ipython-parallel]

関数にマルチプロセッシングを実装するにはどうすればよいですか。このように試してみましたが、うまくいきませんでした。

この関数を使用してテストする何千もの pdb ファイルまたはシステム ファイルがあります。マルチプロセッシング モジュールを使用しない場合、シングル コアで 1 つのファイルに 2 時間かかりました。どんな提案でも大いに役立ちます。

私のトレースバックは次のようになります。

私は 16 コアのマシンで iPython ノートブックを使用しています (つまり、15 個の「エンジン」があります)。このセルを実行すると...

...その結果、file1.txt という 1 つのファイルがディスクに 15 回書き込まれます。私が本当に望んでいるのは、file1.txt から file15.txt までの 15 個の異なるファイルに書き込むことです。

私はこれらすべてに慣れていないので、簡単な解決策があると思います!

ありがとう、

レツレグ

IPython 並列を使用するときにログを設定しようとしています。具体的には、ログ メッセージをエンジンからクライアントにリダイレクトしたいと考えています。IPython.parallelのように、各エンジンが独自のログ ファイルに個別にログを記録するのではなく、独自のログをエンジン ログに書き込むことはできますか? 、私は次のようなものを探しています

IPython コード ベースのレビューに基づいて、これを行う方法は zmq.log.hander.PUBHandler をログ モジュールに登録することであるという印象を受けました (iploggerapp.py のドキュメントを参照)。私はこれをさまざまな方法で試しましたが、どれもうまくいかないようです。また、IPython.parallel.util を介してロガーを登録しようとしました。connect_engine_logger ですが、これも何もしていないようです。

アップデート

私はこの問題についていくつかの進歩を遂げました。ipengine_config c.IPEngineApp.log_url で指定すると、IPython アプリケーションのロガーには適切な EnginePubHandler が含まれます。私はこれを経由してチェックしました

これは、アプリケーション ロガーがエンジンごとに EnginePUBHandler を持っていることを示しています。次に、別のターミナルで iplogger アプリを起動し、各エンジンからのログ メッセージを確認します。

ただし、達成したいのは、これらのログメッセージを別の端末ではなくノートブックに表示することです。システムコールを介してノートブック内から iplogger を開始しようとしましたが、クラッシュします。

私の関数は、モンテカルロ積分法を使用した pi 値の決定に似ています。この関数は、基本的に分子をランダムな位置に挿入し、エネルギーを推定します。マルチプロセッシング モジュールを使用して、関数内の for ループを複数のコアで動作するように変換します。ただし、すべてのプロセスの乱数ジェネレーターとエネルギー値から同様の値を取得しました。関数を複数回実行したようですが、同様の結果が報告されています。

ユーザー定義関数のリスト。簡単にするために詳細は与えられていません。

for ループを実行します。

次に、for ループを次のように変換します。

ここでのみランダムな位置の値を出力しました。

どうもありがとう！

「いまいましい初心者」だけでなく、このサイトのpythonについても、ここにあるので、ご容赦ください。:)

複数のプロセスで関数を実行しようとしています。これは、 2 つの引数を取るサブ関数で動作する必要があります。1 つは map_sync によって範囲から渡され、もう 1 つはstaticである必要があるため、" push "によって直接渡すようにしています。

以下は、私が何を意味するかを説明するために、私の実際のセットアップの単純化された例です。これを iPython Notebook から実行すると、完全に実行されます。

ここで、上記のコード全体を「mymultitest.py」という名前のモジュール (完全に変更しない) に入れようとすると、もう機能しません。

私は何を間違っていますか - 解決策は何ですか?

＃＃＃＃ 追加： ＃＃＃＃

OK、最初の返信の意味を推測したので、カーネルをゼロから完全に開始し、セル #1 にコードを直接入力して、「a」が既に変数として定義されないようにしました。同じ結果、完全に機能します：

ほら、私が何を意味するのですか？モジュールからはまだ機能しません。

個人用モジュールの一部を IPython クラスターにインポートしようとしています。Windows Vista 64 ビットで Anacondas を使用しています

それは私にこのエラーを与えています:

ipython ノートブックを起動するためのこの .bat ファイルがあるため、IPython ノートブックの残りの部分にモジュールをインポートできます。

IP クラスターを開始するために、次のようなコードを使用しています。

なぜこれが機能しないのですか？

より詳しい情報：

sys.path を出力すると、C:\Users\Jon\workspace\bf を含むリストが表示されます

クラスターのパスを出力すると、同じリストが得られます。

さらなる分析：

ipcluster とノートブックが別の場所で lib を見ているようです。lib の名前を mylib に変更しようとしました。それは助けにはなりませんでした。

4 コアの 1 台のマシンで 7 つのワーカー プロセスを実行しています。map_async の結果を待っている間に、このループの選択を誤った可能性があります。

result.stdout実行中の7つのプロセスからのすべての印刷出力で成長し続け、マップを開始したコンソールがハングアップしました. 私の MacBook Pro のアクティビティ モニタは、7 つのプロセスがまだ実行中であり、コントローラを実行しているターミナルがまだアクティブであることを示しています。ここでのオプションは何ですか? プロセスが完了したら、結果を取得する方法はありますか?

ローカル マシン (PC) の UI の右上にあるドロップダウン メニュー:

IPython クラスターに送信されたタスクに任意の優先順位を指定できますか?

このようなことを達成するために私が知っている唯一のハックは、タスクの依存関係の DAG を慎重に維持することです。次に、新しい優先タスクを送信するたびに、すべての (開始されていない) タスクを中止し、DAG を再構築して送信する必要があります。すべてのタスクをもう一度。