問題タブ [ipython-parallel]

TaskScheduler を使用する IPython 並列の LoadBalancedView に独自の負荷計算スキームを実装できるようにしたいと考えています。

私はソースを調べていますが、これは有力な候補のようです:

https://github.com/ipython/ipython/blob/master/IPython/parallel/controller/scheduler.py#L604

ジョブの種類に基づいてジョブごとの負荷値を変更したいので、ここでLRU などの別のスキームを定義するという単純な問題ではないと思います。(ここでも Job を拡張して、負荷を計算するためにジョブ タイプに関するメタデータを追加する必要がある場合があります)。

これをどのように行うのが最善か考えていますか? 私はiPythonが初めてです。

LoadBalancedViewドキュメントで見つけられなかった IPython 並列クラスについていくつか質問があります。

1. LoadBalancedView は、プールに出入りするノードをどのように処理しますか? 負荷を再計算して再割り当てしますか? そうしないと、ノードが参加すると、古いノードがタスクでバックアップされます。
2. タスクがプールに追加されると、タスクは負荷に基づいてすぐに割り当てられますか、それともタスクの完了後にノードが「解放」された直後にタスクが割り当てられますか? バインディングの割り当てがいつ行われるのか、または特定のノードが高速になっているために常に再シャッフルが行われるのか、私はただ興味があります.

ありがとう！

カスタム numba-fied 関数を使用してすばやく実行する IPython クラスターで計算を実行したいと考えています。オブジェクトのsync_importsメソッドを使用してインポートを同期しようとしました。dview問題は、エンジンが numba を正しくロードしていないように見えることですが、numpy は正常にインポートされます...問題を示す短い「最小限の」コードを次に示します。

このコードを実行すると、numpy インポートの後に一種のデッドロックが発生し、しばらくすると次のエラーが発生します。

この動作の原因について何か考えがある人はいますか?

私は sklearn グリッド検索の並列化に取り組んでおり、3 つのパラメーターをスイープしていますが、ipython.parallel で動作するようにプロジェクトをリファクタリングするのに問題があります。私の現在の考え方は、次のような単純な関数を作成することです。

• リッジパラメータを受け入れます
• モデルをトレーニングするためのデータセットをダウンロードします
• モデルをトレーニングし、スコアと結果のモデルを S3 に保存しますか?

これは、グリッド検索を並列化するアプローチとして理にかなっていますか?

その場合、ローカル マシンとリモート エンジンの間でコードを共有する方法はありますか?

たとえば、いくつかの異なるモジュールを含むソース ツリーがあります。

StarCluster を使用して、EC2 にクラスターをデプロイし、リッジ パラメーターで sklearn gridsearch を実行するプロセスを並列化したいと考えました。しかし、すべてのローカル モジュールをリモート エンジンと簡単に共有する方法が見つかりませんでした。これを行うためのパターンはありますか、またはどのように考えを再構築する必要がありますか?

私は小さな StarCluster を実行しており、それを使用して IPython Notebook を実行しています。ノートブックに書いているコードにエラーがあるたびに、ノートブックの出力の最後に次のエラー メッセージが追加されます。

それ以外は、問題なく動作しているようですが、なぜそれが起こっているのかわかりません/なぜそれがそうしているのかについて詳しく知る方法はありません

と を使用して、いくつかのリモートサーバーを実行しようとしていipcontrollerますipengine。ipcontrollerそのため、最後に ipython ノートブックを実行する「マスター」ノードで単一のプロセスを開始します。

ipengine多くの利用可能なチュートリアルのおかげで、リモート ホストでの実行はスムーズに進みます。ipenigneCPU の数に基づいてホストごとに実行した後、バックグラウンドでのdisown -a実行を閉じるのを避けるために使用しipengineます。ただし、何らかの理由で、SSH セッションを閉じた後も実行されません。コマンドも使用nohupしましたが、同様の動作です。この問題に関するご意見をいただければ幸いです。