問題タブ [ipython-parallel]

既存の関数 (たとえば、scikit-learn から: 具体的には「予測」関数) を取得し、複数のコアを使用していくつかのデータセットに適用したいと思います。

私の最初の素朴なアプローチ:

動作しません (複数のコアが起動しません)。これを機能させる方法はありますか？

または、「反復不可能な」関数を関数に渡す方法はあり@dview.parallelますか?

起動したエンジンを停止するにはどうすればよいですか: ipcluster engines --n=8 --daemonize

現在実行中のプロセスは次のようになります。

走りたくないkillall python。

私はいくつかの並列計算を行っており、多くの回帰にわたって適合の良さを評価しています。そうすることで（〜60Kの計算を実行する）、iPythonを奇妙な状態にすることができました。

オブジェクトをすべてのノードにプッシュする

そして、作業をディスパッチします:

正常に動作します。実際、ほとんどの作業は完了します。

66229

残り 0.0205939930854 分

CPU 時間: ユーザー 211 ミリ秒、システム: 163 ミリ秒、合計: 374 ミリ秒

経過時間: 364 ミリ秒

しかし、完了しないジョブが 1 つあります。

35230 なし

<AsyncResult: unknown>

間違い

編集：私はすべての結果を得ることができることを望んでいましたが、機能していない結果を得ることができましたが、喜びはありませんでした.

[<AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>]

私はまだこれを再現しようとはしていません。このエラーの原因は何ですか? 何か問題がありましたか？今後、これから回復するためのより優雅な方法はありますか?

バージョン:

• IPython: 3.2.1
• pyzmq: 14.7.0
• zeromq: dpkg -l | grep libzmq の結果:

  ii libzmq-dev:amd64 2.2.0+dfsg-5 amd64 軽量メッセージング カーネル (開発ファイル) ii libzmq1:amd64 2.2.0+dfsg-5 amd64 軽量メッセージング カーネル (共有ライブラリ)

さて、ラップトップからリモートサーバーに Pycharm を接続する以前の試みでは、tcp/ip の問題 (正直なところ、あまり理解できず、まだ戦っています) のために希望の光が見えませんでした。そのため、代わりに ipython を探しています。

質問:コードの処理と実行のためにリモート CentOS6 サーバーを指すようにラップトップで ipython を構成するにはどうすればよいですか?

ユース ケース: ラップトップ (Win 7 Professional を使用) を使用して、iPython を使用して CentOS 6.4 マスター サーバーに接続したいと考えています。

目的: ラップトップの iPython でコードを記述し、ジョブをサーバーに送信して処理を実行し、結果をラップトップまたはその他の視覚化 API に返す必要があります。

サーバーと 3 つのネームノードは既に pyspark と共にインストールされており、pyspark が 4 つのサーバーすべてでスタンドアロン モードで動作することを確認しました。Pyspark は私のラップトップでもスタンドアロン モードで動作します。

現在のセットアップ: SSH を使用してサーバーにアクセスします。python 2.6 がサーバーとノードにインストールされています。スタンドアロン モードで 4 台のサーバーすべてで pyspark を実行可能

どんなポインタも役に立ちます。

IPython Parallel に関しては、ドキュメンテーションとインターネットで見つけたいくつかの投稿から、SSH を介してマシンでコントローラーを起動し、別のマシンでエンジンを起動できることを知っています。ただし、SGE クラスターで IPython Parallel を使用したいのですが、ローカル マシンでコントローラーを起動し、キュー システムを介してエンジンを起動します。(ローカル マシンでコントローラを起動する理由は、ローカル ノードも使用できるようにするためです)。

ローカル マシンでは、profile_x の ipcontroller_config.py に c.HubFactory.ip = '*' を追加しました。コントローラーを正常に起動できます
ipcontroller --profile=x

また、ipengine を使用してローカルでエンジンを起動し、次のように接続することもできます。

問題は、エンジンがキュー システムによって管理され、ローカル マシンのコントローラーに接続されるように、クラスター内でエンジンを起動するにはどうすればよいかということです。これまでのところ、クラスターに新しいプロファイル profile_y を作成しました。profile_x から profile_y の security フォルダーに ipcontroller-engine.json をコピーし、profile_y の構成ファイルを次のように変更しました。

ipengine_config.py で:

• c.EngineFactory.ip = '*'
• c.EngineFactory.sshserver = 'mylocalmachineserver'

ipcluster_config.py で:

• c.IPClusterEngines.engine_launcher_class = 'SGE'

しかし、やるとき

新しいエンジンは、キュー システムではなく、私がいるノードで作成されます。SGE システムを介して n 個のエンジンを始動できるようにしたいと考えています。ローカルマシンに接続するには、パスワードを含むキーファイルを指定する必要があると思います。そのお手伝いができれば幸いです。

さらに、クラスターに空きスロットがないためにすべてのエンジンを一度に作成できない場合に備えて、起動時にエンジンに「動的に」接続することは可能ですか?

ご協力いただきありがとうございます。

私がしていることのスケルトンコードは

ただし、これまでに含まれているのはインポート エラー メッセージだけです。
これは以前は機能していましたが、IPython 2.1 と 2.2 の間で何かが変わったに違いありません。少なくとも、それは私の推測です。

私はMacを使い始めたばかりなので、これがあまりにも素朴に聞こえるかもしれませんが、ご容赦ください.

をインストールしようとしていInteractive Parallelます。https://github.com/ipython/ipyparallelから、見つける必要があると言われていますjupyter_notebook_config.py。

既に python と関連パッケージをインストール済みでAnaconda、ipython ノートブックを使用できます。しかし、で検索するspotlightとjupyter_notebook_config.py、次のファイルが見つかりません。

では、このファイルはどこにありますか?

更新：これは私のhomeフォルダです：

しかありませんanaconda。

最近、IPython を 4.0.0 に更新し、Jupyter 4.0.6 をインストールしました。

Ipython 並列を使用したかったので、ノートブックでエンジンを起動した後、以下をインポートしました。

そしてそれは失敗します：

だから私は試しました：

しかし、分布は見つかりませんでした。

ipython notebookまたはで開いているノートブックでもjupyter notebook、コンソールでも同じように失敗することに注意してください。

また、警告があることに注意してください。

しかしrekey、モジュールには存在しませんjupyter_client.jsonutil

質問: Jupyter 内で IPython を並列に動作させるにはどうすればよいですか? 何が欠けていますか？

IPython.parallel をインポートしても問題はありません -->import IPython.parallel
ただし、これを試すと
rc=IPython.parallel.Client()
、次のエラーが表示されます。

誰もこれに対する解決策を知っていますか? 【Ubuntu14.04を使用しています】