問題タブ [supercomputers]

PBS クラスターでジョブを実行するとき、ジョブログ (-o ファイル) を 2 か所に置きたいと思うことがあります。1 つは$PBS_O_WORKDIRすべてをまとめるためのもので、もう 1 つ${HOME}/jobOuts/は grep/awking/etc...

コマンド ラインからテストを実行すると、次のように動作しteeます。

しかし、これを PBS スクリプトに入れようとすると、PBS スクリプトと qsub に入れても機能しません。

ここにqsubとエラーがあります：

以下でいくつか他のことを試しましたが、何も機能しませんでした。

1 行 (カンマ、セミコロン、スペース):

そして2行：

2 つの動作するライナーは 2 番目の -o オプションを使用するだけで、1 つのライナーは機能しません。

助言がありますか？出来ますか？

Hadoop の本質が理解できません。ペタバイト単位のデータを処理できるスーパーコンピューターを購入するのに十分なリソースがある場合、そのような膨大なデータを管理するために Hadoop インフラストラクチャが必要になるのはなぜでしょうか?

PBS ファイルで for ループを並列化することはできますか?

以下は私の試行.pbsファイルです。4 つのノードを割り当て、同時にノードごとに 16 のプロセスを割り当てたいと考えています。これは正常に完了しましたが、現在 4 つのジョブがあり、各ノードに 1 つのジョブを送信したいと考えています。(アルゴをキューに入れると、使用しているクラスターで 4 つの個別のジョブを送信するのに数日待たされるため、これを行う必要があります)

ジョブは独立して実行され、同じデータを使用しません。同じ pbs スクリプトからノードごとに 1 つのジョブを実行できますか?

ありがとうございました。

次のような itertools コードを使用しています (SO に感謝します!)。

問題は、blobs上記のリストに約 400 個のアイテムが含まれていることです。つまり、結果のリスト オブジェクト にはselected、何兆もの可能な組み合わせ (15x15x15x15x15x15x15x15x15 など) が含まれることになります。私はプログラミングは初めてではありませんが、大規模なデータセットを扱うのは初めてです。このような itertools を処理するには、どのようなハードウェアを探す必要がありますか? この種のことを処理できる手頃な価格のマシンはありますか? 私は明らかに、信頼できる iMac を超えて Python のスキルを習得しました。. .