問題タブ [rocks]

安価な PC (すべて同一のハードウェア) を使用して、計算クラスターを迅速かつ簡単に構築する方法を探しています。Rocks は可能な解決策のように見えますが、ノードで Python 3.4 プログラムを実行できる必要があり、システムで DISCO もセットアップする必要があります。これは Rocks で実行できますか? それとも、DISCO 用に 1 つのクラスターをセットアップし、従来の MPI ベースのコンピューティング用にまったく別のクラスターをセットアップする方がよいでしょうか? ここでは、セットアップの容易さが大きな懸念事項です。

root アクセス権がなく、最近の python3 実装を持たないサーバーで python2 と python3 を同時に実行できるようにしようとしています。これは、ルートアクセス権を持っている自分のサーバーでは正常に機能しますが、何が間違っているのかわかりません。

参考までに、問題の centos/rocks システムには管理者によって python2 実装がインストールされており、バージョン 2.6.6 と 2.7.5 の両方があります。彼らは python 3.3.2 もインストールしましたが、バージョン 3.4 にもいくつか使用しているものがあるので、バージョン 3.4.3 をカスタム インストールして、PATH、LIBPATH、および PYTHONPATH に入れました。私はその python バージョンを自分のコード専用に使用し、そこにライブラリを pip でインストールします。PATH、LIBPATH、および LD_LIBRARY_PATH を設定する python3 バージョン用の独自のカスタム rocks モジュールを作成しました。

python3 コードを実行しているときは、すべて正常に動作します。問題は、同じセッションで python3 と python2 のコードを同時に実行しようとすると発生します。

python2 プログラムを実行するためのシステム コールを作成するコードを python3 で作成しました¹。問題は、python3 コードを実行するために、python3 ライブラリのみを含むように PYTHONPATH を設定していることです。python2 ライブラリがその PATH にある場合、次のようなエラーが表示されます。

ただし、PYTHONPATH からすべての python2 を取り除くと、python2 スクリプトは次のようなエラーで失敗します。

これを回避する唯一の方法は、python2 コードの呼び出しに明示的な PYTHONPATH を含めることです。それは機能しますが、非常に面倒で醜いです。

以前はすべての python3 のものを PYTHON3PATH に保持し、python2 のものを PYTHONPATH に保持していましたが、今では python3 は PYTHON3PATH を完全に無視し、PYTHONPATH のみを使用しているように見えます。

繰り返しますが、この問題は、私の PYTHONPATH に両方のディレクトリが含まれていても、arch linux を実行し、python 3.4 と python 2.7 を並行して実行している私自身の個人サーバーでは発生しません。

私はここで愚かなことをしていると確信していますが、それが何であるかはわかりません。

¹ばかげたコメントを避けるための脚注: 彼らの python2 スクリプトは私が書いたものではありません。python3 コードは、リモート マシン上でマルチスレッドの非並列コードを調整する単純なジョブ管理システムです。任意のスタンドアロン プログラムを並行して実行することになっていますが、python2 スクリプトでは失敗しています。したがって、どちらか一方をバージョン 2 または 3 に切り替えることはできず、2to3 を使用してインポートして 2 つをマージすることもできません。

DVD からの rocks 6.2 のインストールに問題があります。ジャンボ（DVD）を使用しています。すべてが開始されると同時に、CDROM が開き、「ディスクが見つかりません」という情報が表示されます。ただし、インストールはこの CDROM (DVD) から開始します。誰かが私を助けることができますか？

Apache Mesos と Rocks Cluster Distribution の両方を使用して、タスクを実行し、クラスター リソースを管理できます。

それらの違いは何ですか。また、どのシナリオでどちらかを選択する方が良いです。

私が理解していることから、類似点は次のとおりです。

• どちらもクラスター内のリソースを管理するために使用されます
• どちらも RHEL/CentOS にインストール可能
• リスト項目

同様に、違いは次のとおりです。

• Apache Mesos は Ubuntu のインストールもサポートします
• Apache Mesos では、マネージド タスクをコンテナで実行する必要があります
• Apache Mesos では、フレームワークがインストールされている間、フレームワークの外部でタスクを実行できます (推奨はしません)。
• Rocks Cluster Distribution は、クラスターを 1 つのマシンとして扱います (タスクがクラスターで実行されていることは、ユーザーにはわかりません)。

Rocks Cluster Distribution で Apache Mesos を使用するのはなぜですか?

マシンをリモートで変更/etc/security/limits.comして再起動しましたが、起動後もnprocパラメータは古い値のままです。

4096に設定max user processesしましたが、再起動後も値は 1024 のままです。