parallel-processing - PBS、標準出力を更新

Question

Torque/PBS ジョブを長時間実行しており、出力を監視したいと考えています。ただし、ログ ファイルはジョブの終了後にのみコピーされます。PBS に更新するよう説得する方法はありますか?

Answer 1

TORQUEではそれが可能です。共有ファイルシステムがある場合は、設定できます

$spool_as_final_name 真

ママの設定ファイルで。これにより、ファイルはスプール ディレクトリにスプールするのではなく、最終的な出力先に直接書き込まれます。セットアップが完了したら、出力ファイルを tail -f して、必要なものを監視できます。

http://www.adaptivecomputing.com/resources/docs/torque/3-0-3/a.cmomconfig.php (spool_as_final_name を検索)

Answer 2

残念ながら、これは PBS/Torque では不可能です。stdout/stderr ストリームは実行ホストでローカルにスプールされ、ジョブの終了後にサブミット ホストに転送されます。実行中に監視したい場合は、プログラムの標準出力をファイルにリダイレクトできます (実行ホストとサミットホストが共通のファイルシステムを共有している場合にのみ意味があります)。

ファイルシステムをサブミットノードと共有していないノードでジョブを実行できるようにするのが理由だと思います。

Answer 3

私にとっては、ジョブが実行されているノードに ssh 接続し、その下のファイルを/var/spool/torque/spool/確認することは機能しますが、この特定の環境に固有のものである可能性があります。

Answer 4

シェル スクリプトを送信する場合は、これら 2 つのコマンドをスクリプトの先頭に配置することもできます。

exec 1>file.stdout
exec 2>file.stderr

これにより、stdout および stderr からの出力がジョブの作業ディレクトリに配置されます。